一场意义的大灭绝事件

我偶尔会做天体噩梦。有时太阳爆炸，杀死了我们所有人。有时我们被抛出太阳系，看到天空中越来越小，周围的一切变得越来越冷更暗。

发抖、汗水、文明死亡的夜晚幽灵。即将到来的人工智能引发的大规模灭绝事件，正是这样被无声无血地呈现出来。

我相信人工智能的进步让我们走向了前所未有的哥白尼式创伤，因此我提出了一个简明的论点来说明这一点：未来所有人类意义的创造都变得痛苦，这是不可避免的。

请原谅我这些愚蠢的新词，我会完整解释每个前提。

1. 该苦涩的教训是真的。
2. “诠释圈”是“优化适切”的。
3. 我们贪得无厌。
   ∴ 前所未有的意义危机不可避免。

再简短直白地说：人工智能将成为解决问题和做事最高效的方式。事实证明，每一个有意义的人类努力都将暴露在人工智能方法的威胁之下。

因为我们病得很重，我们会把人工智能带到所有我们获得意义的事物上。

我的一二三论证出了问题。看看我如何扮演分析哲学家。看看我那个伪知识三段论及其杂粛的新词。我暂时放下矫揉造作，告诉你这一切的情感动力：低落的情绪，几阵恐惧的刺痛，以及我脑海中模糊的画面。

在我的脑海中，各种意义来源——未来的数学工作、未来的写作、我解决的问题和我创造的文化产物——都被抽象化为点n-维空间。这个空间类似于所有意义的空间，或者语义空间，或者是对一切可理解事物的某种数学近似。

这无关紧要。

我每天都在努力思考和感受，走到这些点。我的经历，所有浮现到我的，都在帮助我前行。我的路线是一条缓慢而奇异的蛇形，根据我的个性、兴趣、意志和不足而前进。

但优化器盲目地燃烧着，没有理解或经验的负担。也许它会测地线或者它会以百倍的速度快速树状排列，直到它声称要点;我的意思来源。

这画面令人沮丧、失去动力，同时令人恐惧。娱乐它是一种折磨，但技术法西斯会让我整天娱乐它。

含义

人工智能显然不会直接威胁人类所有意义构建的途径。人工智能代理不会代替你去教堂。无论结果如何，海边的木板路、荒野鸟鸣和沸腾的汤都会一直陪伴着你。

朋友们会聚在一起玩游戏，不会邀请人工智能。你的孩子会希望你帮他们睡觉，即使某种模糊的意义上人工智能可以，怎么办？做得更好？

以更优化的方式做？胡说。我承认，脸红着，我花了稍微久一点才意识到这一切。

一如既往之前有人提醒过我人工智能可以做你做的事，但永远不会是你现在的样子。

然而，目前许多意义途径同时处于红色警戒状态;正如我将论证的，前一段提到的一些意义源泉正是依赖于这些受人工智能威胁的途径。

我们同意，个人所选择的使命确实有可能被环境削弱，不是吗？你可以在突然消失的角色或工作中找到人生意义。新的经历，甚至可能是悲剧性的，可能会摧毁你的信念体系。

这种情况也有可能发生在许多,许多人群同时出现。

我不能把所有被人工智能威胁的有意义状态从现实中剔除出来，然后交给你。我只能模糊且富有绘画感地讲述。我认为这门课主要包括各种问题解决以及文化或语义对象的生成。

例如从事实模式提出事件理论、证明数学定理、写诗或制作视频论文——如果能在电脑上完成，风险最大。这门课可能会比这大得多，但我相信至少有这么大。

所有这些事物和行为的集合，虽然定义模糊，我称之为“诠释圈”。

我担心的是，那些绝对不会被人工智能影响的意义来源，可能仍然受到威胁，因为它们最终根植于人类在诠释圈内的创造和努力。

举个例子：假设你大部分的生命意义来自孩子的幸福。然而，你的孩子从创意写作中获得生命意义。此外，你的孩子对所有问题已生成作者人工智能入侵进入创意写作。

由于人工智能的侵蚀使你孩子的生命意义难以维持，他们的福祉将不可挽回地受到损害。因此，人工智能在远距离攻击你的存在理由。

苦涩的教训

……研究人员总是试图构建那些按照他们自己认为的大脑运作方式运行的系统——他们试图将这种知识注入到自己的系统中——但事实证明，这种做法最终适得其反，并且在通过摩尔定律实现了大规模计算并找到有效利用它的途径之后，更是浪费了研究人员的大量时间。

在尝试开发一种能够解决问题或执行任务的人工智能时，人们往往倾向于将人类专家的领域知识硬编码进去。萨顿指出，这样做虽然令人满意，也常常能带来初期的进展，但归根结底：

……突破性的进展最终是通过一种相反的、基于搜索与学习的计算规模扩展方法实现的。这种成功的滋味多少有些苦涩，而且常常未能被彻底消化，因为它意味着以一种备受青睐的、以人类为中心的方法败下阵来。

萨顿认为，随着计算资源的增加，搜索与学习似乎能够“任意地”扩展。这一观察连同“苦涩的教训”及其赖以成立的摩尔定律，都可能在未来失效；它们或许建立在某种尚未被发现的宇宙不变法则之上，也可能是局部的、偶然的现象。

如果“苦涩的教训”在我为那个令人不快的论点所要求的意义上成立，那么人工智能将成为解决任何问题的最有效手段——甚至包括那些涉及人工智能自身的问题。

从这个意义上讲，它告诉我们，人工智能终将成为我们所见过的最强大的通用优化器。

诠释圈具有优化潜力

这个近乎胡言乱语的前提其实是我对这场讨论唯一的贡献，即便如此，它很可能早已在别处被讨论过了。从最弱的层面来看，它并没有说明太多内容，只是说：凡是人类能够从中获得意义的状态或情境，都可以被优化。

用我所能想到的最简单的方式表达就是：人工智能方法适用于人类意义建构领域的任何事物。

请注意，我们实际上需要的条件还要更弱一些。我们只需假设，在所谓“人类意义建构圈”（即“诠释圈”）内——尽管未必严格局限于——一切可被人类心智与灵魂感知或把握的事物，优化器在每一方面都比人类略胜一筹。

也就是说，整个诠释圈并不需要完全具备优化能力，只需要其中的每一项内容都能被足够优秀的优化器以稍高一点的效率和效果达成即可。

这里不需要任何强有力的形而上学主张。你不必声称人工智能会成为上帝，也不必断言它无所不能。你无需认定宇宙是数学化的、可量化的、可解释的，或者任何事物都具有任意扩展性。

你也不必提出计算型心灵理论。我认为，上述这些条件对于诠释圈具备优化潜力而言，都是充分而非必要的。

几点冷静的推断

人类所占据的范围在整个存在之域中不过是沧海一粟。我们是渺小而有限的存在。我们在国际象棋上的能力已被Stockfish超越；还有其他动物能感知到比我们更多的色彩。

我们能在燃烧前承受的热量远远低于天空中所有恒星的燃烧温度。可以设想，未来也许会出现一首音乐，它能打动你至深，以至于任何其他作品都无法企及，而由于某种原因，人类却根本无法创作出这样的作品。

如果我们的智力、经验的丰富程度、创造优秀艺术的能力、理解并共情他人的能力、以及以公平方式参与游戏从而让每位玩家都能享受过程的素养——如果这一切都是可扩展的——那么就有可能涌现出一些凭人类之力永远无法企及的实现形式。

国际象棋在某种意义上已经超出了“诺思圈”的范畴：人类大脑无法破解国际象棋，而Stockfish同样也无法做到，但它比我们更接近答案。

那么，是否可以说，如今最具匠心、最富创意的国际象棋妙招都属于机器？如果是这样，那还有哪些事情也是如此呢？

井字棋则完全在我们的掌控之中——这是我们发明并解决了的游戏。一台人工智能每次都能逼平我。遗憾的是，国际象棋对人类的意义显然远胜于井字棋，围绕国际象棋形成了更为丰富的文化、更多的人格特质以及更深远的目的；两者之间的差距巨大。

因此，如果你最喜爱的艺术形式或你所选择的职业可以被简化为一场游戏（也就是说在某种程度上具备优化潜力），你觉得它更像国际象棋，还是更像井字棋呢？

此外，还有能量的问题。一旦合适的架构出现（也就是我们的大脑），此后我们所完成的每一项智力成就——伟大的小说、理论、发现——所消耗的能量都不超过我们进食时摄入的食物所含的能量。

如果有一天发现了极其高效的AI架构，那么它或许仅凭一块披萨所蕴含的能量就能完成在我们看来如同魔法般的壮举。当然，这只是一个极端的设想；也可能它需要动用整座布鲁斯核电站的全部输出。

不过这也许并不重要。鉴于可供获取的能量之多（提示：让AI聊天机器人告诉我如何为你提供太阳的所有能量），要将整个诠释圈涂满颜色，所耗费的能量也许只占我们（借助AI）触手可及的能量总量的一小部分。

最后，我认为人工智能的近期成功以及“数学的不合理有效性”提供了一些证据，表明我们或许生活在一个对优化具有适应性的宇宙中。而且，就人类而言，只需宇宙中的一小部分、有限的区域在非常弱的意义上具备优化适应性即可。

那么，这又意味着什么？

在结束之前，让我们重新审视这一论证，并将其完整地展开。

假设“惨痛的教训”是真实的，那么对于任何具备优化适应性的事物，单纯地为当前最先进的人工智能架构投入更多算力，将比依赖人类的理解更为高效。

进一步假设，在所有有意义的人类任务、问题、人工制品和角色的集合中，每一项都具备优化适应性；如果我们把人工智能应用于这些领域（或者某个AI代理在未经我们同意的情况下自行选择去实现它们），那么AI将以比人类更高效的方式让这些事物得以实现、被占据，等等。

由于我们自身存在深刻的缺陷，我们将创造出使这一切发生的条件。由此便可能导致一场意义的大规模灭绝事件。

我相信，只要我的任何一个前提不成立，我们就可能是安全的。前两个前提似乎依赖于这样一个假设：宇宙按照我希望它运作的方式运行，而我经历过太多的生存性创伤，已难以相信这种可能性。

虽然老生常谈，但事实的确令人信服——宇宙似乎毫不在意，完全无视我们的偏好与意义结构。而前两个前提却要求情况并非如此。因此，我不得不寄希望于人类，并否认第三个前提！

对于那些贪得无厌的人：请停下脚步，只取所需。对于我们其他人：不要停下，凡是能滋养你灵魂的事物，都在与技术极权主义者作对。

我之所以使用“意义的大规模灭绝事件”这一表述，是为了传达我在思考这些问题时所处的心境。这正是我开篇提到的那些天启般的噩梦。

我仿佛再次意识到，人类终有一天会走向终结。这难道只是青春期那场存在主义危机的重演吗？即，一切不会永恒持续，太阳迟早会吞噬地球，最后一丝光亮也终将熄灭。

我走到户外，呼吸着夜晚的空气。群星依旧在原位；云层被微弱的光线映衬，树叶在风中摇曳。某处印刻着一弯新月。一切都还在那里。

远处车辆的单调声响，城市的种种声音。我的未来事业、我的人生意义，以及我所做的一切。群星依旧；一切都还在那里。未来、喧嚣、路灯的光芒，还有我活着的意志。

清凉的夜风。

这是我杜撰出来的概念。抱歉一上来就用了几个新词。我的本意是，这或许与诺思圈有所重叠，同时又被限定在心理圈之内。我把它理解为一个抽象的意义生成与意义探寻的空间。

还有这个概念。我的意思是，指某事物能够通过机器学习方法、大型语言模型或其他类型的优化器加以优化。

除非它把我们都干掉了之类的。

参见此链接或此链接。

另一条基于摩尔定律的预测：参见第17条。

围绕这篇论文存在着一股炒作之风，我尚不足以对其重要性作出评价。据我所知，论文中由大型语言模型编辑的神经网络，其复杂度远低于该语言模型本身——也许规模不小，但也远远达不到“超级智能”的程度吧？

在我看来，AI几乎不可能创作出一件比所有人类艺术作品都更杰出的作品。艺术似乎本质上就是属于人类的，即便某件AI作品在某种指标上“更好”，这也只会使其越过临界点，变得陌生而令人类难以接受。

在我看来，技术上极度精巧的极繁主义艺术很可能会被视为令人反感，而公式化的艺术则无关紧要；而这两种类型的艺术，或许是最适合被优化的。

然而，关于AI数学所带来的创伤，让我连这一点也变得不确定。

我打算进一步探讨，如果宇宙可以被量化、所有性质都可以被标量化，那将意味着什么。简而言之：这似乎是最为可怕的设想之一，它暗示着任意强度的痛苦都是可能存在的。

目前，请先阅读这篇文章。

你可能会反驳：创造力源于限制，而我们在国际象棋上受到的限制很大。不过，Stockfish也同样受限。对此我也不太确定该如何理解。