把 Qwen3.8-27B 推理 token 砍掉 40%:3.8 版 ThinkingCap 实测对比

14

我想,在这里说喜欢通义千问系列模型的人应该不在少数,但过度思考确实是个严重的时间杀手。在3.6-27B版本时就已经很麻烦了,到了3.8更是变本加厉。

我也知道有人会说:“正是因为这样,它才能实现如此优秀的性能与规模比……”但现在已经有确凿的证据表明事实并非如此。于是,Swift-Qwen3.8-27B应运而生!

这款模型显然受到了Qwen3.6-27B ThinkingCap的启发——在我切换到3.8系列之前,ThinkingCap正是我日常使用的3.6-27B版本。对于还不太了解的朋友,ThinkingCap是27B的一个微调版本,它在完成与原版相当的各项基准测试和通用性能时,所需token数大约减少了40%。

这是一款真正有效的微调模型。我曾连续数月每天使用它,毫无问题,而且为我节省了大量时间。我一直期待他们能推出3.8的类似版本,因为尽管3.8性能出色,却实在过于缓慢;不过迄今为止尚未面世。

然而,看来UkisAI也对那个版本颇为青睐,并主动推出了它的续作。他们识别出“会在通义千问推理过程中引发过度思考的‘推理标记token’”,并通过强化学习对其进行惩罚,从而减少了过度思考的错误。

此外,他们还引入了源自BottleCap AI的ThinkingCap-Qwen3.6-27B的迁移组件。最终结果是:在多项基准测试中,同等质量的输出平均只需减少30%至50%的推理token(具体数据详见模型卡片)。

这一成果相当亮眼,我也通过自己的实际用例以及以Aider作为评测套件的代码生成基准测试,独立验证了他们的说法和模型的质量:指标 Swift-Qwen3.8-27B Qwen3.8-27B Pass1 (%) 30.8 27.1 Pass2 (%) 75.7 77.6 格式良好的diff (%) 98.1 99.1 完成token数 7,301 12,547 每案例耗时(秒) 750 1,481 每次求解总token数 12.1k 19.3k 如你所见,他们的说法完全成立——Swift仅用约一半的时间,就达到了与原版相当的成功率,且token用量仅为原版的63%!

这对3.8-27B的用户而言无疑是一大福音,因为随着回复长度的增加,解码效率会不断下降,这也是为什么虽然token数只相当于原版的三分之二左右,但耗时却能减半的原因。

总之,我的帖子往往写得太长,就先到这里吧。刚刚完成对该模型的评测后,我实在太兴奋了,忍不住想分享一下。

参与讨论