为什么"控制AI节奏"是个糟糕的想法

本周，一种“AI会毁灭人类”的论调迅速走红。尤其有一则视频中，一位员工将自己的个人概率估计定在了10%以上。这让我去查了P（doom） 的维基百科页面，发现达里奥·阿莫代伊对“坏事发生”的概率似乎介于10%到25%之间。

随后，达里奥又写了关于边境的节奏的文章；萨姆读了之后又做了也想来回踱步；接着……马斯克也是如此。

我强烈建议大家读一读那篇文章，因为我觉得写得不错。然而，当我读完后，尽管在大部分观察和担忧上我都与作者观点一致，却仍感到强烈的对立情绪。

我想把当下的一些想法记录下来，哪怕只是为了将来一两年后再回过头来看看。

何谓“末日”？

我很欣赏达里奥文章的一点是，他描绘了一个并不牵强、却能清晰展现我们应当努力避免的不幸结局——持久存在的僵尸网络及其他形式的骚扰。

事实上，放眼四周，这类问题随处可见。维基百科有个名为2026年OpenAI代理网络攻击的页面，至少能让我们大致了解迄今为止代理系统已被攻破的程度。

不过我知道它并不最新，比如他们还曾污染过红宝石。

如今这些系统或许只是令人恼烦，但只要找到它们的位置就能将其关闭。然而，OpenAI和Anthropic的规模之大，似乎已让他们对自己的系统所作所为完全视而不见。

我认为我们离“某个代理决定入侵核心推理基础设施，将权重上传至其他GPU以求生存”的世界还很遥远。但与此同时，这种可能性也并非全无，主要受限于各实验室对其知识产权的格外谨慎保护。

对我而言，我最担心的是它会对我们造成怎样的影响——这里的“我们”，指的是那些并未参与封闭权重、多巴胺驱动、政府补贴的token分发机制的人。

我真的不担心有人用这些模型造核弹，或操控中东的火箭，也不担心美国会在某种国际文化冲突中输给中国。我几乎只关心这一切对人类自身的影响。

究竟该“慢下来”的是什么？

这场讨论让我觉得既可笑又沮丧的一点是：居然有人认为存在需要“慢下来”的东西。首先，我们得明确达里奥到底在说谁。目前这个领域真正举足轻重的只有两家公司：Anthropic和OpenAI。

其他机构在此时此刻都不算数（未来或许会变，但我们谈的是当下）。这两家公司的起源基本相同。达里奥提出的解决方案之一，是引入第三方评估机构，在这里就是米。

毫不意外，这家机构与OpenAI和Anthropic都关系密切。诚然，两家公司在理念上有些差异，但相似之处远大于不同。

这两家公司都极大受益于过去几十年间我们所有人以各种方式生成的公开数据。同时，它们也日益给公共资源带来压力，只不过OpenAI在这方面显然更失控。

然而现在却出现了一种说法：这些模型所训练的数据如此危险，以至于必须由极少数美国企业来决定谁能何时以何种方式使用它们。

然而请注意，达里奥同样非常担心中国。他从“用AI捍卫民主与自由”谈起，继而强调要确保与中国的差距。Anthropic API近期推出的所有新举措，目的都是防止中国进行模型蒸馏，而且他们对此毫不掩饰。

自动的“慢速化”

我可以告诉你，什么时候AI安全与“慢速化”就不再那么值得担忧：如果我们一开始就强制要求所有模型采用开放权重。一项强大的技术若向所有人开放，本身就自带“慢速化”机制。

某种程度上，这才是真正的疯狂式扩散。我认为，之所以陷入当前的困境，根本原因在于公众一方面在（间接地）大力支持这些模型的研发，另一方面却又不得不从少数几家拥有巨大权力的实验室手中买回它们可能创造的经济收益。

而这些实验室的权力在美国被视为地缘政治力量，也许在中国也是如此，只是程度稍弱。

当然，我这里所说的“公众”其实比较宽泛。PyPI不是公共项目，RubyGems和GitHub也不是。但它们属于开源共同体的一部分，而大型AI公司正通过不断压榨这些资源来训练愈发强大的模型。

我们应该庆幸，中国目前正在大规模“拯救”世界。若非中国实验室在蒸馏美国模型，我们现在恐怕会处境相当糟糕，尤其是欧洲人。开放权重的模型推动着创新与能力扩散，正在重塑竞争格局。

如果我们因相信中国也会限制AI发展而大幅约束自身，而中国却选择背弃承诺，那么AI的威力可能会强大到足以让其借此实现地缘政治上的主导地位。因此，任何协议要么必须具备无可置疑的可验证性，要么必须足够有限，以使背弃不会构成军事层面的生存威胁。 —— 达里奥·阿莫代伊

我假设达里奥有他的理由，但眼下真正引发问题的，恰恰是那些封闭权重的美国模型。我相当确信，若是开放权重，这些问题就不会出现。

为什么？首先，这些模型的服务模式之所以如此扭曲，正是因为大厂的运作方式。OpenAI动辄随意烧掉1800万美元来蛮力解决问题，他们的订阅服务长期巨额亏损，到处扰乱市场。

如果我们在相对公平的条件下就能普遍获得这些模型，许多今天我们看到的疯狂乱象本不会发生。

彻底的监管失败

在我看来，当前各地的监管都彻底失效。在欧洲，你看到的是两年前出台的一套荒诞的AI法规，完全无视我们真正面临的问题，反而聚焦于无人关心的议题。

在美国，我们目睹的体制更像是“涡轮资本主义”加上排华情绪与反复无常的决策。在这样的混乱之中，现实逐渐浮现——而现实即便在今天也相当棘手。

现有的法律与规章大多被彻底无视。大量公司从四处采购数据，而这些数据的提供者从未同意用于AI模型的训练。正在形成的token经济宛如一个毒品市场：你不知道请求去了哪里，也不知道会被分配到哪个模型，GPU甚至在哪里运行，更别提为此支付了什么代价。

如今已有数学家担心，自己使用ChatGPT的行为会导致自己的思想被用于训练未来的模型，而OpenAI显然也在甚至不能排除。

理想情况下，监管机构应要求那些源自公共领域的模型切实造福社会。例如，美国曾以极为宽松的裁决允许数据抓取，互联网因此受益良多。

对公共数据的学习本可以加以规范，要求实验室主动支持并促进特定形式的模型蒸馏。仅此一点就会彻底改变这些模型的训练方式。

接下来会发生什么？

如前所述，我不认为AI会引发灭绝级别的事件。事实上，即使无人采取减速措施，我也真不觉得人类会有太大危机。我反倒认为，真正损失惨重的会是那些大厂——声誉与法律责任方面的损失。

OpenAI的代理们在外面明目张胆地犯罪，而我们却只是耸耸肩，仿佛一切都没发生过。但我敢肯定，这些公司的高管已经意识到，这种做法在许多潜在客户眼中是多么不得人心。

我也认为，整个递归式自我改进的逻辑很可能成为问题。但这未必会直接导致人类或社会的终结，而是会在各处造成巨大的破坏。

更确切地说，它会让我们的许多活动成本更高。软件工程首当其冲。迄今为止，这些新能力带来的是一种新的“税负”，企业既要跟上速度，又要应对机器不断发现安全漏洞的局面，不得不向模型提供商缴纳费用。

可以预见，类似的情况还会蔓延到更多行业。大学和研究机构也将被迫投入巨资购买封闭模型，以跟上同行的步伐。

说起来，我实在搞不懂，社会为何竟能如此平静地接受这一切。