AI 竞赛早已是多极的

简而言之;总结：即使政策制定者目标截然不同，合作降低灾难性风险似乎也非常有可能。

关于超级智能的竞赛常被描述为美国和中国两个对立霸权之间的两极竞赛。有大量论述指出，即使在这种框架下，两国也并非不可避免地以最小克制迅速推进。

但更根本的是，秉承Box的传统，我认为这种双结果模型已经破碎且无益，值得批判性地审视，并希望能用更有价值的模型来替代。

我本以为类似的事情以前会在这个论坛上被写下来，但经过一番搜索后我没找到。所以这是我尝试的一个更好的模型：这是一场（至少）八种结果之间的“赛跑”，而不是两个。

为什么是八？我试图将竞选的“结果”分割成：

1. 它们（尽可能地）是不相交的结果。
2. 它们描述的是我们到达后仍稳定的持久终点。

以下是我认为最合理的结果。

结果

结果一：美国构建与自身价值观相符的超级智能。

结果二：中国构建与自身价值观一致的超级智能。

结果三：一家公司、其他形式的私人机构或政府，与这两者不同，构建与自身价值观相符的超级智能。

结果4：大量跨国或全球行为者集体发展出与大多数参与者认可的价值观一致的超级智能。

结果五：存在大量强大/超人类的人工智能行为者，他们有着相互竞争的优先事项，但这些行为总体上与人类价值观大致一致。

结果6：某个行为者构建了一个足够强大的人工智能或一组人工智能，导致人类的判断和控制丧失，正如渐进式剥夺权力文献中所述。

结果7：“快速起飞”式的失控，导致灾难性后果。

结果8：存在持久且大致稳定的共识，认为构建超级智能会有害，持不同意见的行为者有足够的动机避免追求超级智能，但最终它没有被建成。我们还可以将“超级智能在概念上不可能”纳入这一范畴。无论哪种情况，都不会发生。

事实上，还有第九个结果：以上都不是;上述分类法都没有实质性描述最终发生的结果。这是一个非常活跃的考虑，随着时间推移会变得更为活跃（稍后会详细说明），但鉴于这是“未知未知”类别，我在这里无法深入探讨。

在成果中

我们可以放大这些单个切片，其中还包含不同程度的善良可能世界。

例如，可能存在一种结果1a世界，美国及其全球政治和/或经济权力的分配变得更加不平等，或者一个结果1b世界，政治和/或经济权力分散到更多参与者之间。

这些可能的世界各自带来不同的益处、风险和关键挑战。尤其是在短期的“对齐”时间线中，即使我们已经解决了技术对齐问题，默认结果会让大多数人受益，而出现大量人口对过程有（或选择不参与）有意义影响的世界，也存在争议。

在这个框架下，另一个重要点是，对于大多数行为者来说，至少有五种结果是非常糟糕的。尤其是，即使是那些可接受结果完全不相干的行为者（比如一位认为只有1和4项可接受的美国政策制定者，以及认为只有2、3和5项可接受的中国政策制定者），也应该能够合作，减少双方都认为完全不可接受的结果的可能性。

结果的可能性和价值很大程度上取决于到达时间

在这个框架下，我觉得最后一点很有用的是，把这些切片看作是关于时间的条件分布。

如果你像我一样预期阵营质量和成功会非常依赖时间，这很有用。截至2026年，我认为没人知道如何安全地构建超级智能。我认为这种情况很可能在整个2020年代依然存在。

即使我们从概念上理解了它，也很可能花费大量时间确定实施上的挑战，更别忘了，还要确定社会到底有多想要或不想要超级智能。

切片内的似然分布也会随时间变化，每个未来的价值也以切片内为条件，从而可以定义对未来的“客观价值”。

显然需要注意的是，所有这些信念都是对整体的表现。它们不可避免地是近似。随着我对这个框架的深入深入，我希望能对相关概率形成更细致、更扎实的个人感知，如果有人觉得这个框架有用，我也希望更多合格的建模者能开发并分享自己的。

示例切片

具体来说，这是我在2027年以超级智能为条件的最高层面切片：

结果1 - 美国ASI：4%

结果2 - 中国ASI：1.5%

结果3 - 私人/非美国/中国ASI：5%

结果4 - 大型身体ASI：~0.00001%

结果5 - 与ASI结盟的集体：~0.01%

结果6 - 逐渐失去权力：55%

结果7 - 快速起飞对准偏差：25%

结果8 - 暂停令 / 禁令 ：0%

结果9 - 以上皆非：9.5%

这是我对2040年超级智能的最高判断：

结果1 - 美国ASI：8%

结果2 - 中国ASI：6%

结果3：- 私人/非美国/中国ASI：2%

结果4 - 大型审议机构ASI：16%

结果5 - 结盟ASI集体：12%

结果6 - 逐渐失去权力：26%

结果7 - 快速起飞错位：5%

结果8 - 暂停令/禁令：0%（记住，我们是以超级智能为条件。该分支非常活跃，但未反映在条件分布中）

结果9 - 以上皆非：25%

这是我第二层的切片，条件是2030年逐步失去权力：

结果6a——完全无权力：70%（不一定是立刻，我认为这条分支更像是“竞争压力最终变化太快，人类无法拒绝无权力化）

结果6b - 相对无权力感：20%

结果6c - 其他：10%

这是我第二层的切片，条件是2040年逐步失去权力：

结果6a - 完全无权力：30%

结果6b - 相对无权力感：45%

结果6c - 其他：25%

要小心，有些层级极其罕见，因此将整体无条件分布的直觉导入较低层是非常不明智的;我的直觉是，一个我们比默认路径延迟多年超智能发展的世界，比我们当前2026年的视角来看要明智得多，因此我们在推理这些更好结果时，应该尝试引入更乐观的直觉。

更不用说，这些事情很难推理，所以总体上需要非常谦逊。随着结果和可能性的接近或被排除，事情可能会变得更清晰、更容易推理。

如果我们将结果1-5归为“对齐成功”，将结果6-7归为错位结果，并且如果你相信我关于“随着时间推移错位可能性降低”的方向性观点，那么延迟超级智能的意义与其说是改变美中胜利的相对概率，不如说是从广泛错位的结果转变：

对于更少错位的结果：

这并不意味着以后不会有更激烈的地缘政治讨论，但这意味着我们现在就能朝着降低超级智能发展尝试带来灾难性后果的政策目标迈出进展。

1. 在某种意义上类似于价值锁定的概念。
2. 举个例子，如果让我猜，未来15年内第三有可能发展超级智能的国家是韩国。
3. 它们也是内部模型，而不是综合概率。
4. 具体来说，是严重错位;模型很可能不会完全或可证实地对齐;我们试图捕捉那些错位严重导致灾难性结果的案例子集。