内容讨论 图片 1
内容讨论 图片 2

Alma 之前的这个 FrontierHarness Eval benchmark 虽然使用的是同一套试题和同一个 provider 的同一个模型,但毕竟不是同一个运行环境(我用的是 Docker Container 而不是官网中的 Runta runtime),所以有失偏颇。

前段时间,Renta 终于推出了在同一个运行环境中跑这个 benchmark 的 bring your own harness skill。所以让 Alma 使用完全相同的配置重新跑了一次,结果直接爆杀所有 Harness。领先之前的第一名 Codex 5 道题目!

claude.ai/code/artifact/4c69…

yetone (@yetone)
恭喜 Runta 发布 FrontierHarness Eval!
另外我这几天也偷偷用 Alma 跑了一下这个 Harness Benchmark,然后发现 Alma 勇夺第一!所以也恭喜和感谢一直在支持 Alma 的用户们!♥️

claude.ai/code/artifact/b518…
添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论