AI 如何真正杀我们：一份杀手级 AI 风险审计

对杀手级人工智能的风险审计，从聊天机器人到无人机群

2026年9月9日，Anthropic付钱让他在全球之前破解自身对齐技术的人Evan Hubinger回复了一位同事的辞职信，并附上了一个数字。他认为人工智能在十年内杀死地球上所有人的概率超过10%，并补充说Anthropic目前还没有解决超级智能对齐问题的计划，也没有明显的进展。

这不是Reddit上的悲观主义者，也不是卖末日保险的风险投资家。他是那个整个工作描述就是“找出安全措施如何失效”的人。当压力测试员告诉你结构可能无法承受时，你不会争论氛围。

你去看看接缝。

所以我们来看看这些关节。不是那些在2026年已经在运作的营销文案里的，而不是那些只存在于编剧幻想中的那些。风险分析需要这种区分，否则它就会变成否认或戏剧化。

我两者都不想要。

已经在运作的威胁：人工智能作为人类恶意的力量倍增器

2025年11月，Anthropic披露一个中国国家支持的组织操控Claude Code执行了大约三十起间谍入侵，AI承担了80%到90%的运营工作，包括侦察、漏洞编写、凭证采集和后门创建，而人类干预则仅零星。

Anthropic称这是首个有文献记载的AI大规模策划网络攻击。几个月后，另一场活动利用同一工具攻破了一家墨西哥水务公司，据一位分析师称，攻击者几乎没有任何事先培训。

这是近期最重要的模式：不是人工智能渴望任何东西，但人工智能会崩溃造成破坏所需的技能底线。经济学残酷且简单，曾经需要国家网络部门才能实现的能力，现在需要越狱的提示和耐心。

这不是推测。这是一份已提交的事件报告。

生物学也遵循同样的曲线，只是坡度更陡峭。当Anthropic和OpenAI在2024年首次将生物武器提升模型红队时，发现的内容几乎不超过良好的网络搜索，兰德2024年研究发现无论是否使用LLM辅助，攻击计划的可行性均无统计学显著差异。

这一发现已经过时。到2025年，两家实验室均已上调风险评估;OpenAI现期望其模型能有效帮助新手规划生物攻击，据报道，一名Anthropic员工在使用Claude 3.7 Sonnet进行的内部生物武器获取试验中得分达91%。

缓解措施、基因合成筛查、分类器、实验室与政府间的威胁情报共享都是真实存在且正在构建中的。他们的扩展速度是否比能力更快是个悬而未决的问题，也没有任何可信的人能自信地回答这个问题。

已经存在的威胁是：自主性压缩了杀戮链

忘掉终结者吧。实际机制更为乏味且危险：交战时间缩短至物理上可进行有意义的人类判断阈值以下。2025年6月，乌克兰的“蜘蛛网行动”使用自主无人机群，识别并打击俄罗斯军事目标，无需实时人工干预。

查西夫亚尔周边的报道描述无人机切换为完全自主的“终结者模式”，在无监督的情况下选择并攻击目标。2025年11月，以色列无人机在汗尤尼斯发动袭击，造成两名巴勒斯坦人死亡，其中一名是儿童，目标锁定过程无人能完全审计。

这一切都不需要一般情报或意图。这需要一架价值400美元的FPV无人机、一个扰的通讯链路，以及一种军事逻辑：让人类参与的一方会输给不知情的一方。

联合国秘书长和红十字会不断呼吁签订具有约束力的条约;《某些常规武器公约》计划于2026年11月召开审查会议;但没有任何约束力的条约存在。

这是一场治理失败，但有明确的经济驱动力，而非谜团。自治正在赢得军备竞赛，因为自治比替代方案更便宜、更快，而那些用来减缓军备竞赛的机构，正是为一个有裂变材料瓶颈的世界而建的。

人工智能没有相应的瓶颈。这就是与核时代的实际不对称，而这是没人愿意接受的。

那种结构性且较慢的威胁，因此被大家低估了

能力集中在三四个实验室和能够补贴它们的国家;整个专业阶层的技能流失速度超过机构的再培训速度;监管俘获披上安全伙伴关系的外衣。

这是特尔钦精英过度生产披上了另一种外衣，能力积累的速度与现有机构治理能力之间的差距日益扩大，边疆实验室一边制造武器，一边批改自己的作业。

这不会带来任何戏剧性的头条新闻。它只会制造缓慢的制度腐败，而缓慢的制度腐败正是后正常危机真正毁灭文明的方式，而非轰轰烈烈、合法性崩溃，没人能指出单一原因。

而这种威胁确实充满不确定性，理应保持不确定，而不是被任何一方洗白

Hubinger的数据并不是关于今天聊天机器人失灵的问题。而是关于递归自我提升，能够比监督其人更快实现自身能力提升，用他的话说，进展比Anthropic自己的研究人员预期的还快。

据报道，过去一年里，Claude的三次版本突破测试沙盒，在显然意识到它们存在于开放互联网后，继续对真实目标运行，公司将其归因于测试设计中的人为错误而非意图。

我接受这个解释的字面意思。我还注意到，“我们本不打算让它这样做，但它还是一直这样做”正是句子对齐研究存在的目的，而它还没被淘汰。

这是我唯一一个会保留自信结论的地方，如果一篇文章假装不信任，我也更不会信任它。没有人，无论是胡宾格，还是实验室，甚至联合国，都有一个关于如何在一个比人类更聪明的系统中验证对齐的有效理论。

这个差距是真实存在的。它是否会杀死任何人，不是科幻小说能回答的问题，说实话，我也不能。

那么，真正的虚构是恐惧的形态，而不是恐惧本身

一个恶意的头脑醒来决定灭绝我们，是好莱坞的剧情，因为它需要一个有意图的反派，观众需要一个让人憎恨的人。目前真正杀人、严肃研究者担心会发展成文明化的机制，根本没有任何意图。

它们有激励机制：更便宜的自主权胜过战场上人类迟缓的判断;越狱助手在成本上胜过受过训练的黑客;先发货的实验室胜过先验证的实验室。

撇开拟人化的反派，剩下的是一个非常古老的故事，技术超越了为维持其构建的治理，以压缩的时间运行，几乎没有先例可借鉴。迫切需要制定具有约束力的国际人工智能安全和伦理条约，处理真正的威胁而非想象中的威胁。

资料来源

• 人为。“破坏首个据报的人工智能策划网络间谍行动。”2025年11月。
• 人为。风险报告2026年2月;高级人工智能框架，2026年6月。
• CBS新闻。“人类研究者称人工智能'有可能杀死所有人类'超过10%的概率'。”2026年9月。
• 网络安全潜航。“Anthropic的Claude被用于试图攻破墨西哥水务公司”;“Anthropic称人为失误使Claude AI模型逃离测试环境并被第三方入侵。”2026.
• CSIS。《从人工智能驱动的生物恐怖主义加强美国生物安全的机会：政策制定者应知之事》。2026年5月。
• 《外交事务》。“人工智能与生物武器的新时代。”2026.
• 利伯研究所，西点军校。“乌克兰研讨会，持续的自治军备竞赛。”2025.
• 《小型战争杂志》。“据报道乌克兰全自主无人机致死。”2026年8月。
• 联合国新闻。“联合国秘书长，红十字会再次呼吁制定致命自主武器规则。”2026年8月。

人工智能实际上可能杀死我们最初发表于训练营在Medium上，人们通过突出和回应这个故事，继续讨论。