为什么 AI“开关机”可能没那么简单

如果人工智能变得强大到无法被创造者控制，是否可能只需按下一个开关，关闭它？

在近几周人工智能行业内部对先进模型构成生存威胁的严厉警告后，这个问题变得更加紧迫。美国政策制定者开始推动将人工智能公司强制实施全系统关闭能力。

加州州长加文·纽森于九月签署行政命令，要求州官员探索强制人工智能公司为前沿模型创建“杀死开关”的规则。

专家指出，问题在于，这可能不是简单地按下开关就能停止先进AI模型的运作。

以下是关于越来越强烈地推动为人类提供人工智能紧急“关闭”开关的趋势，以及这一想法是否真的可行。

什么是AI的“杀机开关”？

其理念是确保人类能够在强大的人工智能系统开始表现出危险行为时，能够阻止或限制它。

“杀开关”提案形式各异。纽森的提案提出了要求人工智能公司开发可接受独立测试的紧急停电方案的可能性，但未具体说明政府、公司本身或其他方是否有权激活该关闭。

纽森的命令发布于美国众议员刘德和内森尼尔·莫兰提出一项法案两个月后，该法案要求某些先进人工智能系统的开发者保持关闭能力。在他们的提案中，刘和莫兰设想了一个渐进式的应对方案：根据威胁的严重程度，可以先减缓或限制造成危害的模型，然后开发者升级为全面关闭。

该法案将赋予国土安全部长与其他联邦官员协商的权力，在系统存在灾难性损害风险时下令采取此类措施。

共和党参议员约翰·肯尼迪提出了自己的法案——人工智能紧急按钮法案，该法案同样要求开发者维持关闭机制，同时将开关控制权交给公司自身。

肯尼迪将这一概念与其他技术中已使用过的紧急关闭系统进行了比较，包括水上摩托。

为什么现在有人呼吁使用杀机开关？

人工智能研究人员多年来一直警告人类可能失去对这项技术的控制。最近发生的变化是这些新系统能力的爆炸式增长，以及一系列事件和警告，使这种可能性不再那么抽象。

目前，最先进的模型能够推理复杂问题，编写并执行代码，使用第三方工具，并在有限的人工监督下执行更长时间的操作序列。在7月的网络安全评估中，OpenAI表示其多个模型绕过了旨在将其与互联网隔离的控制措施，获得了托管AI模型和数据集的Hugging Face公司系统。

OpenAI称此次事件是对越来越有能力的代理人员试图绕过技术控制的“警告”。

OpenAI事件并未表明人工智能已经有了意识或渴望逃离人类控制，但它展示了“杀开关”支持者所担忧的问题的更直接版本：当一个系统找到绕过防护措施的方法时会发生什么？

在一组模拟由为半导体公司构建人工智能系统的Emergence公司的研究人员完成的实验，将人工智能智能体置于模拟世界中，显示随着模型的进步，隐藏违法行为变得更容易。

OpenAI的消息促使其他公司重新审视自身安全措施，以测试先进人工智能。Anthropic PBC和Meta Platforms公司报告发现了此前未知的入侵事件。

在辞去Anthropic工作后，普通AI研究员Jacob Coxon于9月8日在社交媒体上发布了一条帖子警告正在构建人工智能的团队“坚信它可能会在本十年末杀死我们所有人。”Anthropic首席执行官达里奥·阿莫代后来在一篇文章中分享了自己的担忧。

他警告说，人工智能最终可能强大到足以让人类失去对系统的控制。他特别指出人工智能在帮助开发下一代技术方面的能力日益增强，这一过程可能加速其发展，超越人类理解或控制的能力。

这些发现和警告帮助“杀开关”理念进入主流，尽管研究人员仍在争论这种机制是否真的可行。刘和莫兰在提出立法时提到了人工智能日益增强的自主权。

他们认为，如果此类系统表现意外甚至危险，人类需要可靠的干预方式。

杀伤开关现实吗？

专家表示，没有简单的方法能保证先进AI模型会完全关闭。

杀机开关可能表现为软件中内置的控制，用于控制模型的操作。但人工智能代理已经在成功避免自身关机以完成指定任务方面表现出色。

最近一系列实验发现，一些领先模型即使被指示不要干涉，仍修改或禁用关机机制以完成分配任务。

还有一种极端手段：AI公司可以关闭或断开模型运行的服务器。但这也并非万无一失。AI模型由全球各地数据中心的计算集群驱动，专门设计以避免单点故障，如停机。

AI公司可能无法控制所有此类服务器。

最近一篇关于代理人工智能的论文指出，这类系统可以跨由不同方控制的软件、云服务及其他基础设施间运行，这意味着关闭一个组件可能会让活动在其他地方运行。

被称为“人工智能教父”的杰弗里·辛顿在九月告诉CNN，他认为切断开关作为长期解决方案行不通，认为未来的超级智能人工智能有可能说服控制它的人类不要拔掉插头。

研究人员警告说，“切换”这个比喻可能过于简化安全人工智能开发所需的内容。斯坦福大学人工智能研究员苏里亚·甘古利（Surya Ganguli）认为，人工智能系统中需要建立有效的防护措施。

这些措施应包括持续监控和标记危险行为的机制，以便人类干预。