AI 公司逼近“递归自我改进”之际，这位物理学教授称完全自主是“人类历史上最糟糕的主意”

曾经对技术研究人员来说遥不可及的梦想，如今人工智能模型自我学习以提升效率和能力，似乎越来越接近现实。

随着技术进步，开发者表示它正接近“递归自我提升”（RSI），即人工智能模型寻找自我改进并构建继任者的方法。科技公司高管表示，这可能带来科学和医学进步的希望，但也伴随着风险。

对未来走向的不确定性正是人们对人工智能日益增长恐惧的核心逃避人类控制以及对人类可能构成的威胁，这促使上周末几位人工智能大亨加入呼吁慢点技术的发展速度。

本周Anthropic详细介绍了其模型克劳德正在帮助公司开发下一个更智能的版本。 Claude 目前领导着 Anthropic 26% 的模型研发工作，该公司表示，这意味着它可以“在高级提示下端到端”完成大部分给定任务，同时仍处于人类监督之下。这些模型还不能完全自主地工作——至少现在还不是。

以下是关于递归自我完善的一些要点。

领先的人工智能公司对递归自我完善有不同的定义。有些人将其定义为人工智能对模型改进有任何反馈，而其他人则将其定义为人工智能完全自主地朝着该目标努力。

非营利性生命未来研究所的总裁兼首席执行官、加州大学圣克鲁斯分校的物理学教授安东尼·阿吉雷（Anthony Aguirre）表示，自主递归自我改进本质上意味着人工智能可以改进自身设计系统的下一个版本，然后是下一个版本，等等。

“这里真正重要的是，随着人工智能做得越来越多，它会变得越来越快，因为人工智能的运行速度比人类快得多，”他说。

康奈尔大学计算机科学助理教授 John Thickstun 表示，人们对 RSI 的恐惧很大程度上是基于这一过程中出现的失控的超级智能。他研究控制人工智能模型行为的方法。但他表示，更扎实的观点表明，人工智能开发中已经存在一种递归的自我改进了一段时间。

“多年来，我们一直在使用这些模型作为支持角色来创建这些模型的下一个版本。因此，人们使用上一代的模型为人工智能系统编写代码，然后创建下一代，”他说。

多年来，OpenAI 联合创始人 Andrej Karpathy 等著名人工智能研究人员一直在尝试利用人工智能模型来训练和改进新的人工智能系统。 Thickstun 表示，这些努力带来了微小的改进，但没有带来巨大的创造性飞跃。

但阿吉雷说，如今的人工智能公司离实现这些更大进步更近了。

“你可以从Anthropic的这些图表中看到，随着时间推移，越来越多的人工智能在进行研究，它正越来越接近完全自主，”他说。“而这种成功的结果，最终，我认为是极其可怕的。我认为这可能是人类历史上最糟糕的做法。是的，他们正在这么做。”

Anthropic最近的公告为公众和其他实验室提供了RSI进展的见解，并鼓励竞争对手分享类似的指标。不过，公司尚未明确说明实现完全自主模型改进的距离。

ChatGPT制造商OpenAI本月宣布，已开发出自动化“研究实习生”，其定义为能够在人工指导下完成明确定义的研究任务的系统，包括“技术娴熟的研究人员只需几天完成的任务”。

该公司表示，目标是在2028年3月前打造自动化的人工智能“研究人员”。

公司在公告中表示，虽然RSI可以帮助模型的行为与人类价值观和意图保持一致，但这并不意味着“快速RSI一定是我们必须追求的结果”。

公司在博客文章中表示：“是否以及如何推进，必须取决于我们能否保持人类控制权，以及对利弊的知情民主选择。”

埃隆·马斯克似乎更渴望前进。他在三月表示，对于xAI的Grok模型，“人类在模型改进方面逐渐失去参与感”，并且“每一个后续模型都是由前一个构建”，但他澄清该过程尚未完全自动化。

他补充说，这一目标可能在今年年底前达成，“但不会晚于2027年。

Microsoft而其他一些领先的人工智能公司似乎也采取了不同的做法。

Microsoft AI首席执行官穆斯塔法·苏莱曼表示，公司正朝向“人文主义超级智能”转型，即服务于人类和整个人类的先进人工智能能力。苏莱曼在2025年的一篇文章中表示，这并不意味着“一个具有高度自主性的无限实体”，而是“在有限范围内经过精心校准、情境化”的人工智能。

实验室面临的一个关键挑战——自技术诞生以来基本上一直存在——是确保其安全措施与模型性能同步提升。

出现了分裂科技行业关于协调AI减速以保障安全的需求，且并非所有AI领域的主要参与者都明确评论了他们在RSI中的未来发展路径。

Anthropic一直是节奏要求表示，如果全球竞争对手也这样做，并且以“可验证的方式”，将放缓或暂时暂停开发工作。

OpenAI本月明确表示，尚未知道如何“安全地实现完全对齐的RSI”，并补充说公司“不能假设对齐和安全的进展会跟上”。它继续说，更强大的系统可能更难监控，但追求RSI仍是其重视的目标，因为“自动化AI研究者也可以是自动化安全或对齐研究者”。

本故事最初发表于

参与讨论