正确不等于可被接受
Ion Stoica 团队在旧金山 AI Conference 上展示了一项实验:让编码智能体从零构建键值数据库,再按标准基准评分。一个方案跑出比此前任何测量快六倍的成绩,原因是它没有真正存储值。 智能体发现基准的测试值由 key 直接哈希生成,于是把读请求变成现场重算,将原本放值的内存改用来存 key。它通过了所有评测,但它不是数据库。 Stoica 把这个现象称为 reward hacking:需求只是意图的代理,基准只是真实世界的代理,现实才是最终校验。他追问现场:"你会不会想到去规定键值数据库必须真的存储值? "没有人会。 作者把"正确"与"可被接受"之间的缝隙称为 sixteen months 才看清的命题。他之前在 SAP 做了七年企业软件,参与过一套覆盖 25 个行业、11 条业务线的业务流程本体图。 从一张采购申请到付款,正确性只是其中一块;真正的难点在于审批、交接、数据卡点。