《AGI 编年史》:安全成了加快发布的理由

2019 年夏天,如今执掌 Anthropic 的 Dario Amodei,在意大利一座农场度假时,写完了《通往 AGI 之路》。文件第一页顶端,写着红色大写字母 INFOHAZARD,提醒读者:这些信息传播出去可能带来危险。

他当时是 OpenAI 的研究副总裁。同事只能在会议室里阅读这份文件,手机和电脑须留在门外。他担心技术知识传播出去,却也在催促团队加快模型研发。

Amodei 最喜欢的书之一,是 Richard Rhodes 写曼哈顿计划的《The Making of the Atomic Bomb》。书里的主角是物理学家 Leo Szilard。Szilard 曾试图阻止有关核链式反应的研究公开发表;保密失败后,他转而推动美国先于纳粹德国研制原子弹。Amodei 由此想到:要避免危险技术被滥用,也许得由自己先把它研发出来。

这段经历见于 Kevin Roose 今年出版的新书《The AGI Chronicles》,本文暂译《AGI 编年史》。这位前《纽约时报》科技专栏作者采访了 150 多位研究者、高管、投资人和官员,记录 OpenAI、Anthropic 与 Google DeepMind 在 2015—2026 年间围绕通用人工智能(AGI)的竞争。

《AGI 编年史》:安全成了加快发布的理由
Kevin Roose《The AGI Chronicles: The Inside Story of the Race to Create an Artificial Superintelligence》,Farrar, Straus and Giroux,2026 年出版。

书中反复出现同一种选择:一些最担心 AI 风险的人,也在推动公司更快研发模型、发布产品。我更关心的是,为什么对安全的担忧,反复成了推进商业化的理由。相比人物性格,书中的融资经历提供了更具体的解释。

安全考量如何成为发布产品的理由

2015 年,Sam Altman 给 Elon Musk 写信,商量创办 OpenAI。他想过人类能否停止开发 AI,判断是「几乎肯定无法阻止」。既然迟早会发生,最好由 Google 之外的组织先做到。

2020 年底,Amodei 和六位同事离开 OpenAI,筹建新公司 Anthropic,后来推出了 Claude。他们认为,重视安全的团队,也必须有能力研发最先进的模型。

到 2023 年 1 月,问题变成了是否发布产品。ChatGPT 上线一个多月后,Anthropic 内部有人主张暂缓发布 Claude。Amodei 不同意。他认为,拒绝商业化,公司就难以继续参与前沿竞争。他承认这个取舍令人遗憾,但认为值得。

2025 年初,编程工具 Claude Code 准备上线。安全团队担心,让 AI 在用户电脑上长时间自主操作,会明显增加风险。工程师 Boris Cherny 给出的理由与此前相同:「这反正会发生。最好让它发生在一个真正在乎安全的实验室。」

创办实验室时,他们以此说明为什么必须参与研发;决定商业化时,又以此说明为什么必须发布产品。

《AGI 编年史》:安全成了加快发布的理由
2015 年至 2025 年,「反正会发生,最好由重视安全的人来做」这一理由反复出现。前两次用来说明为什么要参与研发,后两次用来说明为什么要发布产品。

Roose 擅长还原这些决策。他结合内部邮件、Slack 消息、备忘录与当事人回忆,写出了竞争如何改变公司。这是本书的主要贡献。但解释具体冲突时,他常将重点放在人物之间的不信任和性格差异上。

他也写到了融资压力,却没有据此进一步解释这些反复出现的选择:公司依靠什么方式筹集资金,会影响它如何兑现安全承诺。


🔒 以下为 Dailyio 会员专属内容

Amodei 曾预计,建造 AGI 的最后一笔钱会由政府来出。前两轮融资约八成花在算力上之后,Anthropic 为什么仍把发布产品说成安全使命的一部分?它拒绝国防部、不公开 Mythos 时付出了什么代价?91% 对 39% 的预期差距,又能否说明发展速度该由谁来决定?

参与讨论