ASI 并非不可避免：对"必然性"迷思的批判

普遍存在一种观点，认为人工超级智能（ASI）是不可避免的。在这篇文章中，我认为这是错误的，认为它是许多错误话语的上游。

人们为什么相信它？

这很容易让人相信。塞缪尔·巴特勒早在1863年，观察到机器的进步速度快于人类的进步。如今，人工智能系统的能力增长速度远快于人类：五年内，我们从几乎说不出一句话的系统变成了自主网络犯罪.

生物神经系统有许多优点，比如节能（因为它们持续运转）布朗运动，即免费），但它们是由进化设计的，一个贪婪的优化者，无法规划或轻易回头。

根据我们对身体 界限计算和探索性工程合理地认为我们可以做得更好，制造出能完成大脑工作的机器，但更好、更快、更便宜，且传递依赖更少（一个人需要整个生物圈才能生存，计算机只需要电力）。

如果你相信自然选择，而且很难不相信，那么从长远来看，聪明、快速、便宜的机器会胜过愚蠢、慢且昂贵的机器，似乎是合理的。

最后，严谨思考未来总是导致极端的结果.

为什么是假的？

首先，让我尽量简化“必然性”的概念，然后再谈谈事实内容。

“不可避免”这个词在修辞上具有误导性，因为它量化了人类的整个未来，而在如此漫长的时间框架下，几乎任何事情都会发生。人类灭绝之所以“不可避免”，至少是因为热力学.因此，这使你在现在和遥远的未来之间保持模糊。

你可能会说：“一百万年后，人类不太可能成为宇宙中主导智能”——这可能是真的——“所以我们今天就应该制造超级智能人工智能！”——不，这并不成立。

那个是谬误：因为某事会发生就争论最终那我们干脆直奔主题，直接行动现今.但这当然很荒谬。这就像说：我总有一天会死，为什么不今天？

我们无法控制一百万年后的世界模样。但人工智能正在被建设现今，我们对现在有一定的控制。

好吧，也许我们把“必然”替换成”n-必然的“，其中n是某个年数。这稍微好一些。所以你可以说：“AGI是5-必然，ASI是10-必然”。那么，这是真的吗？

不。我们不在”地下室里的种子AI。“时间线，一个孤独的天才找到合适的算法，可以在单核笔记本上构建并运行ASI。有事实上两家前沿AI公司，都在同一城市，他们不得不投入数千亿美元的巨资，才能稍微推动AI前沿。能够推动前沿的人才非常少，他们不断在不同公司之间跳槽：从DeepMind到OpenAI，再到Anthropic，再跳回来。方法的时间线是一样的：2020-2023年，大家都在扩展预训练;2022-2023年，大家都在做指令微调和RLHF;然后在2023-2024年，合成数据开始发挥作用，随后推理模型;从那时起，重点就转向了强化学习。同样的公司、人员、想法、方法和范式。这些公司政治权力有限以反对监管。

不可避免的局面怎么会如此集中？

当年印尼、瑞典和瑞士都想获得核武器时，你会更容易为核扩散辩护不可避免。即使是朝鲜，一个寒冷的山区废土，也能制造核武器。然而，谈到人工智能，只有美国和中国——世界最大和第二大经济体——真正“参与竞赛”。

甚至整个欧洲都与人工智能无关。

关于必然性的糟糕论证

你可能会从经济必要性出发论证：AGI和ASI在经济上如此有价值，就像让人们不要捡起地上的万亿美元钞票一样。这种观点有两个错误的原因。

首先，因为这些经济利益不会对我们产生影响.ASI会爆炸性地推动经济增长，但我们很可能不会成为参与者，甚至不会受益。在凡尔登某处，有一个蚂蚁群落，一枚流弹炸毁了它：这就是人类在一个拥有极其超人类机器的世界里的命运。

我们将失去控制，他们将拥有自己的存在，而我们将被碾压。

其次，因为有很多技术本来在经济上有价值，但我们因为极端的安全主义而放弃了。核能很棒，但它实际上在任何地方都是非法的。英语圈的经济共识是，所有经济活动，无论多么有益，在经历监管、“社区协商”、“利益相关者”等的漫长旅程之前都是非法的。

而这还适用于无害的事情，比如建房子。我们完全可以规范建造神明。现代的启示偏好怪怪的社会是我们更关心负面而非正面。斯科特·亚历山大解释了非常有文采地说：

我们设计社会就是为了扼杀创新而卓越。现在我们遇到了一个问题，只有由阻挠者、过度活跃的监管者、反科技狂热分子、社会主义者以及原则上讨厌一切新事物的人组成的勇敢联盟才能解决。这就像电影里，沙奎尔误入只能通过打篮球拯救世界的境地。剥夺了21世纪美国社会实现其泰洛斯这不仅仅是生存风险——简直是一场悲剧。

你可能会从囚徒困境中争辩：如果我们不做，中国会做。但如果我们能理解建设ASI会是灾难性的，中国也能理解。西方和中国有不同的政治体制和利益，但两者都由人类居住和治理，而人类彼此之间的共同点远多于与未来的ASI。

我们可以与中国合作协调，因为双方理性利益都不应毁灭世界和自身。

你可能会从历史必然性中争辩：世界有固定的轨迹，通过建立ASI和逐渐消亡，我们正在实现泰洛斯，或者说人类的目的。这是一种荒谬的迷信。

“我必须喝下毒药，历史早已注定了它！黑格尔谈论这个！”这是一个荒谬的想法。此外，无论你能引用任何实证趋势来支持我们的“命运”是建设超智能科学（ASI）的观点，也会支持各种替代未来：超人类主义、心灵上传等。

所以历史必然性瓦解了，因为你可以将趋势线延伸成多个相互排斥的未来。博尔赫斯写道：世界是有秩序的，但它是天使的秩序，而非人的秩序，也就是说，世界体系对人类的观念如“命运”、“必然性”或“进化的下一步”漠不关心。

为什么它不好？

通常，如果你把某事的概率固定为100%，失真你的思维。但更具体地说，错误的假设认为ASI不可避免，是许多错误思维的上游。

如果你是人工智能公司的高管，你会想：这是不可避免的，而且很快就会到来，所以我们必须先构建它，并且做好它。人工智能是否坚持并不重要逃出收容并黑入所有人，即使他们的能力远远超过他们的智慧，也无关紧要：你用你拥有的军队开战，同样地，你升天无论你拥有什么神灵，无论是天使还是恶魔。

如果你是国家安全派，你会想：这是一场与中国争夺未来的竞赛，我们必须赢得它。

如果你是人工智能安全人员，这种不可避免的迷因其实是许多错误思维的上游。许多（甚至大多数？）人工智能安全人士认为，如果ASI“顺利进行”，它是不可避免且极其理想的。

这个2040年秋季战情景以人类解决阵营问题并“将火炬交给”人工智能，为我们利益管理世界作结。例如，内特·索亚雷斯，写作:

对齐的超级智能是我们利用宇宙中丰富资源，并高效转化为繁荣、乐趣、艺术、美丽、冒险和友谊，以及所有让生活有意义的东西的最佳选择。

去任何一个随机的人工智能安全组织网站看看。它大概会说：“几年内，我们将拥有超乎常人的人工智能。我们会努力确保这一切顺利进行。”没有人质疑ASI会发生，也没有阻止它的意愿，只是大家疯狂地争先恐后地建立安全措施。

但如果人工智能根本没有正确的方向呢？那又怎样？你会冷静地改变信念，开始游说阻止超智能的建设吗？大概不会。因为不可避免性和极端的功利主义吸引力相互支撑：“它会发生，如果顺利，我们将拥有10个x戴森球，每个拥有10个y享乐优化的心态，运行于10z主观秒数 每秒，体验10次xyz每秒享乐状态数，铺砖 未来光锥的每一个四次大概计，具有积极的效用。”

大多数人乐观地假设一定有解决方案，一条通往美好未来的狭窄路径，然后开始寻找它。如果你相信超能力指数是不可避免的，这很可能是理性的：当选择是“解决不可能的问题，还是必死无疑”时，质疑问题是否真的不可能是理性的。

举个例子：如果人工智能在每个工作岗位上都超过人类，将会出现大规模失业，而唯一有人提出的严肃解决方案就是全民基本收入：政府对（规模更大、增长更快的）AGI经济征税，并支付福利。

这一点大家都明白。但人们常问：这种状况能稳定多久？毕竟，有了AGI，国家的收入与人类劳动完全脱钩。既然人类不再是经济参与者，为什么要投资教育，既然教育不能带来更多经济增长？

然后，国家会想：“为什么还要留低层阶级？我们可以更好地利用他们的UBI。他们会怎么办？罢工吗？他们已经在经济上毫无用处了。要起来吗？当每个公民都有超级智能的人工智能监视他们的每一步，阅读每条短信，审视他们脸上的每一个微表情时？不可能。”

认为ASI不可避免的人工智能安全人员会如何应对这种情况？有时候他们召唤阵营：“人工智能将会被对齐，他们将统治世界，这样坏事就不会发生。”否则他们会说：“这将是个大问题，但人工智能不可避免，所以我们需要法律、机构和机制来制衡国家，让民主在后通用人工智能时代运作。”

这是错误的，因为这是一个没有解决方案的问题。谈论“法律”和“制度”不过是翻纸而已。再多的纸张也改变不了根本的物质现实：人类在经济上是多余的，多余.

那么解决方案是什么？非常简单。如果ASI导致毁灭，我们必须阻止超级智能人工智能的建设。一个人类在经济上毫无用处的世界，就是人类无力的世界，随着时间推移，也是一个没有人类的世界。

因此：我们绝不能让这个世界发生。

但如果你坚信人工智能是不可避免的，这个前提坚定地位于你的核心位置信仰之网那样你甚至不会考虑或注意到这种可能性。所以你会花时间寻找根本没有解决方案的地方。

结论

行星沿轨道运动是不可避免的。日出是不可避免的。守恒定律是不可避免的。人类的行动并非不可避免。