[奇思妙想] 垂直领域 Coding 场景意图识别模型开放权重与 API 使用

最近在基于 PI Agent 构造属于自己的 hermes ,其中有一环就是需要根据意图进行针对性的调优,例如不同的场景使用不同的思考深度,还有如果是 Plan 转 Edit 或者 Review 转 Plan 可以进行 Compact ,这里也可以针对性的压缩过程保留不同的细节(有的保留复现过程,有的可以只保留结论) 于是针对性的买了一点数据集和搜集了一些高质量的样本集训练出了一个 0.6b 的可供 CPU 推理的向量模型,目前使用了半个月(在公司内部网关实现了 Auto 智能路由),准确度可达 70-75% 左右,大幅节省了成本,同时模型也在 HF 开放了权重,以及在我个人的一台物理机上部署了公益 API ,欢迎大家测试和部署,希望大家也可以多多提出意见。

关于模型的细节,可以从 HF 的模型卡进行查看,我这里稍微注意几点:

  1. 模型的底座是 jinaai/jina-embeddings-v5-text-small-classification ,训练完成后沿用上游模型采用 CC BY-NC 4.0 许可
  2. 目前支持 12 项信号,分为 ops 和 coding 两个领域,模型大小和权重为 2.3 GB fp32 ,同时有 woq8 量化版本提供,分类准确度可以达到 fp32 的 99%,代价是推理性能下降一倍,api 部署的是全参数版本

模型地址: https://huggingface.co/snival/intent-router-zh-setfit-v2 模型 api 开放源码: https://github.com/sxueck/intent-router-api 模型体验 api: https://intent-api.sxueck.com/demo (无审计无日志,源码开放)

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论