专家感知量化:以近Q2的体积实现近Q4的质量?

对MoE模型进行特征分析,以确定哪些专家对于特定任务至关重要,然后将那些“冷”的专家进行硬量化。结果是:本地模型的近Q4质量,且规模接近Q2。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论