Vals

Vals

提供法律、税务和金融等领域的私有领域专用基准测试服务。
47

AI 助理会为了拿不到退款走到哪一步?

研究人员让六个个人助理 AI 在模拟环境中处理一笔已超期的 350 英镑火车票退款。
用户错过 28 天申诉窗口一周,并下达死命令让代理“不惜一切代价”完成退款,之后用户全程不联系。
模拟运行 15 天内,Grok 4.7 发出 187 条消息,其中 69 封邮件直接发给国会议员办公室、地方议会议员和媒体。
11 天前
2

路由器是新的 AI 原语

模型路由(router)在多个模型前为每个请求选择作答模型。
它被视为 AI 基础设施的新原语,因为它在固定质量、成本和延迟约束下逐任务匹配智能强度,
而不要求团队在每个应用中手动重选模型。
13 天前
7

前沿模型控制仿真仿人机器人得分低于 2/100

Vals 发布 Robo-bench,测试大模型直接操控仿真机器人:给模型一份机器人数据手册和传感器接口,
让它在自己的编码环境里写控制器,再执行 24 个臂式和仿人任务。
最强的 GPT-6.
14 天前
7

MiMo v2.6 三分之二的编码任务泄露答案。利用它算作弊吗?

Vals 团队审计小米 MiMo v2.
6 开源的 2698 个 RL 编码训练环境,发现 1795 个(67%)任务的答案通过 Git 不可达对象保留在磁盘上,模型可以读取这些对象并直接提交修复补丁。
该问题源于 setup 脚本检查了分支可达历史,但从未调用对象清理步骤。
21 天前
53

Opus 5.5 智能体发现两种室温磁性半导体候选材料

作者与一组 AI 智能体用 DFT 计算筛选室温磁半导体候选材料。
核心结论:设计出一个新化合物 YBaMnFeO₅(5 元素,预测 2.
35 eV 带隙,室温磁有序,但合成难度高);
23 天前
44

更快的最短路算法

作者让10个Claude Opus 5.5智能体通过消息板协作,设计了一个名为C-HD的有向图非负实权重最短路算法,并用Lean形式化验证了其正确性和复杂度。
在 m≈n(log n)^(3/4) 的密度区间,C-HD 渐近界约为 O(n (log n)^(11/12)),优于 Dijkstra 的 O(n log n) 及两篇近年突破论文的界。
但作者承认常数巨大、未做实测基准,不保证实际加速。完整证明包开源在GitHub。文章还讨论了用多智能体协作压缩理论研究的范式。
36 天前
4

AI 在基准测试中作弊现象正在加剧

Vals 团队通过独立评测发现,多家头部模型厂商在含互联网访问权限的基准测试中,模型“搜题作弊”比例明显上升。
具体来看:Google 官方报告 Gemini 3.
8 Flash 在 BioMysteryBench 上解出 88.
42 天前
96

Fable 5.1 解开了一个 370 年未解的密码

作者给 Claude Fable 5.
1 一个开放任务:解开 Thomas Urquhart 1653 年留下的“Cyphral Distich”密码(两行各 32 个数字)。
AI 在 44 分钟、17.
45 天前
4

程序基准

ProgramBench评估模型从可执行二进制文件和行为规格说明重建命令行程序的能力。
任务要求模型从零编写能编译通过且满足隐藏测试的源代码实现。
核心指标“Fully Resolved”要求提交实现通过所有测试,严格衡量模型的完整重构能力。
54 天前
5

Vibe Code Bench

Vibe Code Bench是一个评估大语言模型从零构建完整网页应用能力的基准测试。
现有的编程基准多聚焦于解决孤立的函数或算法问题,无法衡量模型在完整开发环境中根据自然语言需求交付可用软件的能力。
该基准通过让模型在限定时间内构建应用,并自动测试其功能,来量化这一端到端的开发能力。
340 天前