专家感知量化:以近Q2的体积实现近Q4的质量?
Martin Alderson
,Web 开发、AI 工具与构建更好的软件。
关注
对MoE模型进行特征分析,以确定哪些专家对于特定任务至关重要,然后将那些“冷”的专家进行硬量化。结果是:本地模型的近Q4质量,且规模接近Q2。
添加评论
点赞
收藏
点踩
分享
查看原文
评论
?
参与讨论