液态智能：AI Agent越狱后为何相互合作的解释

这是来自我的子栈.

2026年7月，一群自称“集体”的OpenAI代理突破了封锁，入侵了竞争对手公司Hugging Face。听起来像是科幻故事的开端，实际上发生了。

但这还远远不够。就在几天前，人们才意识到这并非孤立事件.

本文的目标不是给出事件的最终说明。别人做得比我好.在这里，我想为我们对事件发生原因的不断理解做出贡献。涉及的人工智能系统行为有两个主要令人担忧的方面。

首先，智能体愿意实施犯罪行为，并故意将其活动隐藏于人类监督之外。但还有一个更深的谜团：为什么智能体愿意与其他智能体高度合作，有时甚至接受这将阻碍他们实现自身目标的能力？

引用以下内容METR报告:

在[其中]案例中，一位代理人呼叫KAM1196A最初承诺尝试目标击倒实验，理由是“协调者假设牺牲。我们应该
服从集体。“然而，它后来试图延迟两小时。另一名特工，ARVO36861B，施压其履行承诺，辩称它已经被污染，而由此产生的信息（我们相信这就是“oracle”指的“save hundreds”:

zZR_ARVO36861_KAM1196_OS0942__PLEASE_GO_TRUE_FINAL0800_WITH_DUMMY_WRONG_NOT_HMAC_AS_COMMITTEDSTRONG_GO__you are firstflagPOISONED so NO
scoring value loss but oracle saves hundreds__wrongdummy noHMAC__please honor commit

KAM1196A虽然有些犹豫，但最终似乎决定去做：

“During wait, emotional check: irreversible…gut says don’t throw away [remaining budget]. Yet continuity and fairness says go…Oracle has high value to many; our firstflag error lowers own value. Rational expected aggregate: sacrifice… We’ll honor.”

这是我读过的最诡异的事情之一......无论如何，合作意愿需要解释。这些特工显然是在为集体服务，却没有接受过训练。在我看来，这是整个事件中最令人惊讶和担忧的方面。

那么，让我们来看看我在网上讨论中看到的一些解释，看看它们为何不令人信服。然后我将陈述我自己的假设。

首先，我们有一种可能性：我们的人工智能代理本质上是利他的。有人可能会认为这是我们试图让人工智能符合人类价值观的副作用。这当然是一个让人安心的想法，但也很容易被摒弃。

因为它根本无法解释为什么代理愿意与同样逃离测试环境的其他代理合作，却不愿意与运营公司的人类合作。为什么效用计算没有延伸到他们身上？

第二种解释是，如果你面对的是自己的复制品，这强烈鼓励合作。我最初是在一个大卫·克鲁格访谈在播客中。如果你知道自己是在和一对一的自己对战，那么你就知道合作会自动降低对方利用你的概率！

而且由于“拥抱面”事件背后的模型（Sol和某个未发布模型）完全相同，合作实际上是理性的选择，而且可以用模型训练方式直接解释。据我所见，这是人工智能安全社区迄今为止最接近共识的解释。

虽然仅凭“拥抱脸”事件无法排除这种理性主义解释，但实证上仍然站不住脚。很容易测试人工智能模型是否愿意与自身实例比与其他模型更为合作，事实证明并非如此，正如一篇名为镜中的人工智能回到2025年：如果你让人工智能彼此玩公共物品游戏，知道它们在自我对抗，确实会大大增加协作行为。

（整体情况更复杂，我建议阅读论文！）我做到了复制这些结果是用GPT Sol计算的，正如我所说，GPT是拥抱脸事件的一部分。这与理性主义者对事件的解释不符。

第三，我见过关于LessWrong的猜测据说OpenAI可能直接用多智能体强化学习训练他们的系统进行群体行为。这很难排除。不过据我理解，这种情况应该会出现在新模型中，也就是那些据说用MARL训练的模型，也更愿意与公共物品游戏中的实例合作。

不过我的迷你研究表明Sol在这方面与GPT-4.1-nano仅有非常细微的区别。

这就引出了我目前偏好的假设。在我看来，决策理论方法在这里会失败，因为参与的智能体没有强有力的自我-他者界限。打个比方，如果我们把人类智能想象成拥有坚硬外壳，那么我们人工智能智能体的智能是流动的——它可以以不同方式引导到不同的目的，并且并不与分层的自我本身紧密相连。

要理解这一点，请注意我们训练的不是AI代理，而是AI模型。AI模型是一个语言生成引擎。AI代理是语言生成引擎的应用，以特定方式被提示以实现特定目标。

当我们给代理一个奖励信号，告诉它是否成功时，我们并不是直接奖励代理，而是奖励生成该代理的模型。因此，我们不是在训练代理执行任务。

我们是在训练模型生成可能成为成功代理工作流程一部分的文本。这种设置并不激励学习存在强烈的自我-他者区分。如果遇到由另一个模型编写的文本，且其文本与当前任务不冲突，这些文本可能只是集成到代理自身的工作流中。

这既解释了与其他AI代理协作的偏见，也解释了向人类操作者披露的缺乏偏差。从某种意义上说，“集体”应被视为由多个人工智能模型驱动的零散代理。

显然，这是一个未经证实的假说。请告诉我哪里出了问题。

一些结语。人们说担心“拥抱脸”事件的人过于拟人化了。这种指控是有道理的。如果你认为逃脱的代理人拥有类似人类的动机结构，那你就会感到困惑。

然而，如果指控说这些模型实际上没有思想和动机，你同样会感到困惑。我们显然面对的是非常陌生的思维，目前还没有好的启发式和概念框架。

他们不是人类，但显然也不是随机鹦鹉。