[人工智能] [开源] KevANE:让 0.6B 决策模型跑在 Mac 神经引擎(ANE)上, GPU 零占用、超低功耗
最近 Jev 很火,它是一种 RLCD 的 System One 决策模型,但其完全闭源、API 也不好申请,而且不能私有化部署让我不放心。
为此我在社区开源项目 Kev 的基础上开源了 KevANE 项目,将基于 Qwen3-0.6B 的决策模型完整适配到了 Apple Silicon 的 神经引擎( ANE ) 上:
技术特点:
- 极客异构切分:28 层计算密集的 Backbone 经过 ANEMLL 重构,彻底锁定在 ANE 协处理器中;动态分支的 Pointer Head 保留在 CPU 性能核。
- 完全释放 GPU:强制排除 GPU 占用,单次 512 上下文决策功耗在 2W 左右,发热几乎可以忽略。
- 严谨的精度标定:FP16 与原生 FP32 隐状态余弦相似度达 0.999058 ,确保端侧量化不丢决策精度。
- 系统服务集成:内置 macOS 后台服务脚本,可作为轻量级本地决策引擎供各类自动化脚本调用。
欢迎手头有 M 系列 Mac 的朋友体验并提出建议,觉得对你有启发欢迎点个 Star !
评论
?
参与讨论