末日将至，笑对之

欢迎来到和谐协会一份关于技术与文化的通讯，两者都被广泛地理解。在本期中，我只是对几周前OpenAI/Hugging Face事件后，关于人工智能带来风险的近期讨论提出一些观察。

我建议，虽然我们的关注点是对惊人风险的投机性前景，但我们或许应该警惕另一种存在性风险。

感谢阅读，

迈克尔

“无论什么造就伟大——高贵、尊严、坚定和一种笑声般的勇气——在几个世纪中基本保持不变。”

——汉娜·阿伦特

本月初，在X/Twitter上，或者至少是我所经历的时间线版本，感觉像是2020年初的诡异回声。在大多数主流媒体几乎不关注武汉的发展之前，仍然有可能在网上遇到关于即将来临危机的传闻。

然而，这次即将到来的危机并非健康紧急情况，而是某种人工智能引发灾难的变体。流传着“没人准备好迎接即将到来的灾难”和“现在世界上只有500个人重要”的说法，后者指的是那些在前沿人工智能实验室工作的特殊人物。

这些担忧因未发布的OpenAI训练模型的消息而加剧逃脱控制在沙盒环境中，并黑入了另一家公司Hugging Face。OpenAI模型部分通过利用漏洞建立了内部留言板，供代理协调。

OpenAI发现了这一点并关闭了它，但方式使模型能够重组留言板并继续追求目标，最终导致它入侵了Hugging Face，寻找完成任务所需的信息。

毫不奇怪，这一切在某些圈子里激起了对最坏AI情景即将出现的更多焦虑。那句反复出现的“没人准备好面对即将到来的事”，目前已变得更加慌张。

我需要澄清的是，我并不认为这些对AI引发末日的担忧，至少是最极端的变体，一定有根据，但你可以持保留态度，因为我不会假装有资格裁决相关技术问题。

话虽如此，我确实认为值得参考Eryk Salvaggio最近关于OpenAI/Hugging Face事件的以下内容：

“当我们说'AI模型失控'时，我们跳过了整个故事：OpenAI手动移除模型的网络安全屏蔽的部分。我们跳过了OpenAI选择在一台有实时网络连接的机器上测试它。如果你把AI看作一个从无到有的系统，你可以声称模型”叛变了“，就是这样”封锁失效这两者都将能动性和决策权置于模型本身，而非那些布置好舞台因为这种行为。当你把系统的边界扩展到构建和部署它的人时，这个案子就不再像科幻，更像是无能。”

“没有人会失去对新兴智能的控制，”萨尔瓦乔继续辩称。“他们正在将自己的能动性转向他们正在构建的东西。”

也许这只是术语重叠的结果（如“实验室”、“隔离”、“病毒”等，与计算机相关的“病毒”等），但这些考虑又引发了人工智能与疫情讨论之间令人不安的平行：粗心大意且可能存在疏忽的安全措施。

更进一步，仔细思考后，令人惊讶的是，“超智能机器可能对人类造成灾难性，但又不可避免，因此我们必须负责任地开发它们”的论点与为功能增益研究辩护的论点非常相似。

你可以自行解读。

我认为可以同意萨尔瓦乔的看法，拒绝那些旨在掩盖责任的必然叙事，同时也承认存在大量空间容纳毁灭性的恶作剧和严重的经济和社会动荡。

如果我说我对某些趋势的潜在汇聚毫无动感——比如人工智能、机器人技术、自主武器系统和无人机战争——我就是在撒谎。

事实上，回到那些涉及产生人工智能系统的人为行为者的集合，也可以承认与另一项至今仍存在的深刻人类生存威胁——核武器的出现有关的长期动态。

德国哲学家君特·安德斯在与一名参与广岛轰炸的美国空军士兵通信中表达了对他所称“我们存在的'技术化'的失望。安德斯担心我们会被困扰到道德责任这一概念的体系中：

“如今，我们可能在无意识和间接中，就像机器中的螺丝一样，被用于那些超出我们视野和想象的行动，而我们是否能想象，也无法认可——这一事实改变了我们道德存在的根基。”

这段话被2023年一篇非常值得关注的论文引用：《冷静犯罪：自主武器与系统性杀戮的道德挑战》作者：Neil Renic 和 Elke Schwarz。

当我不断面对这些关于人工智能公司可能释放给人类的存在主义绝望表达时，我想起了C·S·刘易斯在1948年原子武器时代初期写过的一句话。

在一篇题为《论生活在原子时代》他着手解决了人类灭绝的恐惧，这些恐惧与今天人们听到的人工智能相关问题并无太大区别。

刘易斯开场说：“我们对原子弹的期待过高了。”当被问到“我们如何生活在原子时代？”时，他讽刺地回答：“为什么？就像你生活在十六世纪瘟疫几乎每年都来访伦敦时那样，或者像你生活在维京时代，斯堪的纳维亚的劫掠者随时可能登陆割喉。”他继续用这种讽刺的语气说了一会儿，然后补充说我们相比祖先有一个巨大的优势——'麻醉剂'！

“他随后责备道，”因为科学家们又给一个充满痛苦和过早死亡的危险世界添了一次痛苦和过早死亡的机会，而死亡本身并非偶然，而是必然的，这完全荒谬。

”

然后是我最初回忆起的那段，关于急性人工智能焦虑的话：

首先要采取的行动是振作起来。如果我们都要被原子弹摧毁，那就让那颗炸弹来临时，让我们做着理智且有人性的事情——祈祷、工作、教学、阅读、听音乐、给孩子洗澡、打网球、和朋友们喝啤酒、玩飞镖聊天——而不是像害怕的羊群一样蜷缩在一起，想着炸弹。它们可能会摧毁我们的身体（微生物也能做到），但它们不必主导我们的思想。

我刚好在冷战过去十五年里长大，记得当时对核战的紧张氛围。我没有参加任何“躲避掩护”演习，但第二天它在我童年记忆的深处徘徊。

因此，那种完全无法控制的力量可能以一种方式连锁而来，让你和你所知、所爱的一切几乎毫无预警地被摧毁的恐惧，对我的内心并不陌生。

现在，作为成年人，我可以判断刘易斯那种反抗劝诫是对抗任何理智者在这种情况下都会被诱惑的绝望的强力良药。

因此，我最初想说，面对某种末日式的人工智能末日主义，重新利用刘易斯是最好的选择：如果我们要被某个洛夫克拉夫特式的超级智能或卡夫卡式的回形针式最大化者摧毁，那就让我们做着理智且有人性的事情——祈祷、工作、教学、阅读、听音乐、给孩子洗澡、打网球、和朋友们喝啤酒、玩飞镖聊天——而不是像害怕的羊群一样蜷缩在一起，思考人工智能的安全。

但随后，我想到了第二个更令人不安的想法。刘易斯列举的那些活动：它们不正是我们被鼓励、常被压力外包给人工智能，甚至在某些情况下欣然让位于人工智能的某些做法吗？

许多工作形式都属于这一类，无论好坏。毫无疑问，教学、阅读、与朋友聊天——这些也同样如此，当然是坏的。悲哀的是，即使是祈祷也并非免疫。

以某种方式，即使是间接的，给孩子洗澡和打网球也是如此，因为许多人似乎愿意接受相关活动的模拟。

面对核战争的威胁，普通人无力避免，而本可以发生随意触发刘易斯希望我们继续活着，拒绝让恐惧支配我们。放弃生命有什么意义，因为它可能被夺走？

这更应该活得精彩。

但似乎我们处境截然不同。灾难性的结果更不可信;它更属于推测小说而非粒子物理学。然而存在存在风险，生命本身也岌岌可危。风险之所以存在，不是因为人类物种的生存、我们的生物生命客观上岌岌可危，而是因为我们倾向于逐步外包参与，缩短参与那些构成有意义且令人满足生活的事物。

奇怪的是，我们被邀请通过技术手段离开生活，正是因为有人告诉我们，这样做我们能够聚焦于“真正重要的东西”。但这种框架实际上是在偷偷植入一个无理且有害的假设。

当我们听到“真正重要的东西”这个词时，我们大概都倾向于相信这种东西存在。而且它确实存在，只要我们知道该去哪里寻找：不是超越它，而是在工作中;关怀;摩擦;劳动;时间和努力的投入;挣扎;挫折;喜悦与悲伤的泪水;由耐心、无私地关怀眼前世界的爱。

刘易斯是对的。虽然我们可能无力避免未来可能带来的最严重危险，但提前放弃生命毫无意义。

尾巴

“准备好迎接世界末日。笑吧。
笑声是无法衡量的。要快乐
虽然你已经考虑了所有事实。

…

将军和政客们一开始
能预测你心中的运动，
放下它。把它当作一个信号
标记那条虚假的路，道路
你没去。”

——温德尔·贝瑞，《宣言：疯狂农民解放阵线》

没有付费墙，但那些重视写作且有能力支持它的人的赞助，我们会心怀感激。

我并不是说这两种情况完全相似或将会完全相似。我只是想说，就像我们现在常说的那样，有一种类似的“氛围”。

想了解更详细的叙述，可以观看这部影片40分钟演讲由两位Open AI员工在最近一次网络安全会议上对Hugging Face事件进行回顾。在他刚刚推出的Substack中，提供了引人入胜的分析通过回忆1988年著名的网络安全事件莫里斯蠕虫事件的后果来描述该事件。

同样值得注意的是，许多这些恐惧和焦虑已经流传了一段时间。尼克·博斯特罗姆的超级智能：路径、危险与策略该书于2014年出版，他正在综合一场当时已经上演多年的对话。

有趣的是，当我写这篇文章时，博斯特罗姆12年前的书位居亚马逊人工智能类别的首位。关于博斯特罗姆思想和表述的来源，他可能借鉴了这些内容却未充分署名，可以参见此文后.

这段话可以在燃烧的良心：广岛飞行员克洛德·伊瑟利的案例，述他写给君特·安德的信件.Renic 和 Schwarz 也引用了相关文献人类对人类的利用：控制论与社会作者诺伯特·韦纳。

维纳与安德斯同时期写作，指出当人类“被编织进一个组织，被用作一个组织，虽然他们并非完全负责任的人，而是作为齿轮、杠杆和杆子，那么他们的原材料是血肉之躯就无关紧要了。作为机器中元素使用的，实际上是机器中的元素。”

如果你可能认为他的观点很好，但我们担心的不仅仅是死亡，而是人类文明的灭绝，刘易斯在文章的其余部分就正好讨论了这一可能性。

如果你想继续探讨这个论点，我可以让你继续阅读。