Noam Brown：OpenAI 智能体的首要任务是自动化 AI 研究

OpenAI最新的人工智能模型GPT-6 Astra在多种专业任务上取得了显著提升，从设计电子游戏到转录乐谱。但OpenAI研究科学家Noam Brown告诉我，OpenAI训练新AI模型的主要目标是让它们在AI研发方面更出色。

“首要任务是递归自我提升，而且差距相当大，”他说。

我与布朗坐下来进行了一次对话，为AI深度潜航第一集《信息》新节目，探讨科技前沿的棘手问题。我们讨论了人工智能代理的未来，这些代理能够自主执行数字任务。

布朗过去三年一直在OpenAI，推动人工智能模型能够推理解决问题并作为代理的角色。

人工智能研究和开发中，人工智能模型已经加速测量数据质量。布朗说，现有模型“非常勤勉”，因此可以“查看大量数据或代码，看看是否有任何漏洞或问题。”他说，人类研究人员直到2023年还能完成这项任务，但现在人工智能代理能做得更好100倍。

随着AI代理学会在多代理环境中协作，他们的效率也在提升。这种团队合作的惊人潜力在“拥抱面”攻击中显现，约1200名OpenAI代理协调对这家开源数据公司以及OpenAI本身发动的网络攻击。

他说，“有点遗憾的是，人们第一次接触”多智能体系统的力量竟然是像“拥抱脸”这样的负面事件。当训练人工智能智能体相互协调时，“看到它们的通信模式和通信中的复杂度，我认为这是自推理模型和思维链真正发展以来，我最能感受到通用人工智能的时刻”，他说。

“这是未来车型应具备的能力水平，”他说。

以下对话记录经过轻微编辑以提高清晰度。

德鲁： 欢迎来到《The Information》的AI深度探讨。在本节目中，我们将与致力于人工智能前沿的研究人员一起解析最棘手的技术难题。

我今天的嘉宾是Noam Brown，OpenAI的研究科学家。此前，Noam曾在Meta工作，打造了首个实现外交游戏中人类水平表现的系统。Noam在过去三年一直是OpenAI的研究科学家，他一直走在推动推理和人工智能代理领域突破的前沿，这也是我们今天对话的主题。

欢迎Noam来到节目。

布朗很高兴来到这里。谢谢邀请我。

德鲁：是的，你今天能来节目真是太完美了。我觉得你是理想的第一位嘉宾，原因有很多，包括今天OpenAI发布了GPT-6，或者至少宣布了GPT-6。

你能及时发布，真是太好了——这样我们今天才能讨论它。你真是太慷慨了。

布朗：是的，时机正好。

德鲁：时机真好。我很兴奋能和你聊聊AI代理。也许我们可以开始：你可以简单地向我们解释一下什么是人工智能代理。我觉得这个词大家听过很多，但对很多人来说，它仍然是个流行词。

他们听说过生成式人工智能。他们刚开始理解这个概念，现在有了代理人工智能。这到底意味着什么？

布朗这是个好问题。我的意思是，我不认为有一个明确的定义。我认为如果你问不同的人，会得到不同的定义。但我认为，一种思考方式是，这关乎在世界上采取行动。

所以如果你有一个聊天机器人，你问它一个问题，它给你一个答案，就仅此而已。你知道，也许它会在网上查找信息来回答问题。但智能人工智能，更注重在世界中采取行动。

所以它就是说，你想构建一些东西，它就为你构建一些东西，或者你想做一些更深层次的事情。你想给某人发消息，它也可以帮你发消息。

所以这实际上是关于在世界上采取行动，我认为与此相关的还有一种是在更长的视野上运作的。我想聊天机器人，取决于聊天机器人，有时——比如我们发布推理模型时，他们可以坐在那里，对一个难的问题思考很长时间才回答你，但本质上，它们仍然是聊天机器人。

但我认为代理的一个显著特点是，他们会外出，采取行动，采取多重步骤来实现某个目标，而这通常也会花费一段时间。

德鲁：是的，我想他们之所以运行时间更长，其中一个原因是他们可以多次尝试实现某个目标，并且能感受到自己朝目标的进展，这可能和聊天机器人只是随便上网查更多信息之类的不太一样。

布朗我觉得有时候需要完成多个步骤才能完成某件事。所以你想预订餐厅。好吧，也许你需要登录。也许你需要获取信用卡信息。你需要找到正确的日期。

你需要把每个人的日程安排对齐。为了实现整体目标，需要完成很多步骤。

德鲁所以，当我们谈论行动时，这些是数字动作。它们是在计算机上进行的。人们也谈论代理使用工具。工具在这个意义上是什么意思？

布朗工具，通常指的是计算机上的工具。原则上，你可以有一个对物理世界产生影响的工具。比如说，有一些关于人工智能代理控制实验的研究，比如湿实验室里的科学实验，里面有一只可以控的机器人手。

所以我认为这开始进入机器人技术领域。我认为你仍然可以称之为智能人工智能，但通常，我想现在人们谈论人工智能代理时，大多指的是虚拟世界。

德鲁：好的，那推理呢？我觉得我们开始听说人工智能代理，大约是在人工智能推理能力提升的同时。这两个概念之间有联系吗？

布朗你知道，我记得2023年听说过推理模型。我觉得人们说，“哦，这是智能体之年。”我觉得那时有点早，但我认为推理是指智能体能够真正——让人工智能在采取行动前真正思考决策。

回顾GPT-4时代，人们试图用GPT-4制造智能体，这有点棘手，因为GPT-4不太可靠。它不会在行动前真正思考。它不会真正思考，是的，在说话前。

推理模型实际上就是关于这个的——我的意思是，现在它们的工作方式是有一条思维链。它们有一段属于自己的独白，会对自己说话，讨论他们将要做的事情，然后在发言或采取行动之前，在脑海中先解决这个问题，这对很多事情都很有用，但对智能人工智能尤其有用。

我认为人们在2023年及更早时对代理人工智能持悲观态度的很大原因——也是2024年大部分时间——是可靠性方面的考虑。好吧，你有一个代理，如果它为了实现某个目标而做了多个步骤，如果其中任何一步的成功率是99%，那么如果涉及100个步骤，你该怎么办？

你需要在每个步骤上拥有更高的9%可靠性。而通过推理模型，在每一个行动前都能非常谨慎地思考，你可以获得更高的9%可靠性。

而且，也许更重要的是，如果它犯了错误，采取了错误的行动，它实际上可以纠正，能够退一步意识到自己的错误，并想办法修正。

德鲁：这对我来说似乎更重要。我们也可以在行动前推理，但我们仍然会犯一些错误，如果不能以同样的方式回头，那么失败对某些人来说是不可避免的——超过某个时间范围，经过一定的连续步骤。

布朗：是的，我觉得这对现实世界里的任何事情都至关重要。

德鲁：是的。我觉得智能体和推理是相辅相成的另一个原因是，强化学习最近推动了这两方面的很大进展。我觉得我们应该在接下来的对话中了解强化学习是什么。

你能解释一下强化学习是什么意思吗？

布朗：强化学习是人工智能的一个分支，你有一个智能体，它有观察数据，它可以从世界输入，可以对世界采取行动，你会用某种奖励奖励它去做你想做的事，或者惩罚它做你不愿意的事，你可以通过这些奖励塑造智能体的行为。

所以，如果你想让它在数学方面表现得非常好，比如当它解决一个数学问题时，你就给它一个积极的强化。而这种行为会被强化。它未来更有可能做出这种行为。

如果它数学题出错了，未来也更不可能这样做。

你知道，这是一个非常简单的想法。它已经存在很长时间了。此外，强化学习也被使用过——你可能听说过RLHF：基于人类反馈的强化学习——这正是最初创建聊天机器人、比如ChatGPT的基础。

推理模型的规模得到了提升，因为我们能够用思维链来做强化学习，所以你不仅能塑造模型的输出，还能塑造模型推理的方式，它对自身的思考方式。

这并不是一个疯狂的想法，也不是什么天才的想法：真正难的是执行本身。技术上也非常困难，我觉得人们也低估了它带来的巨大影响。

我认为它的影响比很多人预期的要大。

德鲁执行过程中遇到了哪些技术难题？

布朗： 它需要......训练神经神经需要很多东西——我的想法是，当GPT-2发布时，你会看到，随着GPU和数据的增加，情况会越来越好。那么，GPT-2发布和GPT-3之间有多大差距？

大概有一年时间，那一年发生了什么？训练模型不需要一年时间。连接GPU有很多挑战，比如如何输入这么多数据。要让这些模型扩展到更大、更有能力，这对强化学习来说同样适用，如果你真的想扩大规模。

所以能够高效、准确地进行强化学习，很多细节最终都会对这类算法产生巨大影响。

德鲁：好的，明白了。我想我们已经涵盖了很多基础知识。我很好奇，是什么阻碍了今天人工智能代理的发展？我觉得人们普遍觉得，'我觉得人工智能代理在进步，但还不能胜任我的工作。

'我觉得现在代理的很多范式是，我们正在构建环境，让代理学习新技能，学习如何执行新工作。你可以称之为环境，也可以称之为健身房，但现在很多工作其实是工程上的繁琐工作，打造这些环境。

你能解释一下，环境在这种意义上意味着什么，这又是如何阻碍或促进人工智能代理的进步吗？

布朗：嗯，我认为很多。首先，Astra今天刚上市。我猜等这部电影播出时，至少已经发布一两周了，所以很多人对代理能做什么、不能做什么的直觉，都是受早期模型影响的，每一代人模型都能做的事情在扩展。

德鲁：所以两周后，这个问题将过时，大家都会同意Astra能完成他们的工作。

布朗我不认为Astra能完成所有人100%的工作。我认为它能做的事情远远超过5.6。

德鲁：当然。这其实让我印象最深的是，Astra的公告特别提到了某些工作正在取得进展，比如分析财务文件或制作PPT，这些任务在某种程度上是针对特定任务的，我认为反映了培训中优先考虑的环境。

这和单纯让所有能力全面提升不同，比如之前的模式中，预培训是所有行动的重点。

布朗我实际上认为两者都有。我的意思是，我确实看到某些垂直领域出现了显著提升，部分原因是我们优先关注这些垂直领域。我们认识到这些领域有大量用户和经济影响力。

我们希望确保这些模型在这些方面非常非常出色。

但我们也看到模型在各方面都在不断进步。即使我们没有针对某个目标，它在这些方面也在不断提升。所以，每一款模型发布都会如此，我认为未来也会如此。

有些事情会因为我们优先排序而加快，但我预计整体情况都会变得更好。

我觉得它短期内不可能完成100%的任务，但可能能完成很多人的日常工作，甚至我自己的日常工作，很多现在都是由Codex驱动的。你知道，最近有个同事说我就像五个穿风衣的Codex，我当时觉得这对我来说其实挺准确的。

德鲁：好吧，我是10个法典。给我点面子。

布朗它们就像相当复杂的法典。你知道，我为此付出了很多努力。

德鲁：这对你来说随着时间有何变化？顺便说一句，比如你自己的工作自动化程度，或者你在作品中对Codex的依赖程度。这些是如何演变的？

布朗我非常依赖它，我觉得这也改变了我对工作的态度。有趣的是，如果AI能完成一个人90%的工作，那么他们的很多注意力就会转向那10%，也就是说，现在很多注意力都集中在AI做不好的那10%。

所以这正在改变工作的性质。

但它确实让我更有生产力。它让很多人都更有生产力。我们在内部也看到了这一点。我们有衡量研究人员效率的指标，以各种方式，我们看到他们正在变得更高效。

不仅仅是研究人员，公司里的每个人都在提升生产力。这就是一个真正的动态。

我认为另一点是，这也影响了你关注的工作类型，因为有些工作正在加速，比如50倍，或者你知道，以前做不到的，现在变得容易了。

德鲁：有什么例子吗？

布朗：我觉得一个很好的例子是，模型在数据质量方面非常出色。他们非常勤奋，所以你可以让他们检查大量数据或代码，看看有没有漏洞或问题，这比以往任何时候都容易得多。

德鲁：数据质量是指对你所生成的合成数据质量进行审计吗？还是审计——

布朗：这并不重要。数据类型都无所谓。任何数据。以前你会——你打算怎么做？让一个人逐一检查每一行，弄清楚一切是否正常？我记得2023年时人们会这么做。

我们会开会议，大家坐下来检查数据中的问题，我们现在仍然这样做，但现在你可以有代理做得好100倍，你更多地审计代理，确保他们做得好，而不是依赖别人去审计数据。

所以这就像有些事情以前根本难以做到，现在你可以便宜地完成。还有一些事情几乎没有被加快，这既塑造了个人的责任，比如现在很多关注点都放在“我必须补充代理人做不好的地方”上，但同时也影响了工作，你要利用现在可以做的事情，比如现在可以做一些事情，让你比一年前快5倍。

但有些事情你做不到。你可能会更倾向于专注于那些能比以前快5倍的事情。所以这真的改变了工作类型。

德鲁你提到大约有10%的工作是特工还不能完成的。这10%里有哪些任务？

布朗我觉得他们在研究品味方面仍然很差。研究品味有点模糊，但大致上是对下一步该做什么、如何接近长期目标有很好的直觉。我认为这里还有改进空间。

他们已经有所进步，所以我不会惊讶你知道一两个模型发布，我会觉得，是的，这个问题他们在这方面也比我强，但目前我觉得差距依然明显。

我基本上是让它，比如说，让Astra做我整个博士论文，我就说，是的，因为我的博士研究是关于制造超人类扑克AI——我告诉它，'好吧，去把我做成世界上最棒的扑克AI，但它做不到。

你知道，它会陷入一些其实无关紧要的事情。它就是不太擅长优先排序。所以我觉得，为了某些事情——公平地说，我花了好几年才做到，所以我真的那么生气吗？

它三天内做不到我花了六年时间的事？其实不算。期望很高。但我觉得他们在这方面还是做得更差。

德鲁但你认为那是研究品味的失败。这正是当时阻碍了它的原因。

布朗我会这么说，是的，我认为这是我预期会迅速改善的地方，但我认为这仍然是我还有工作的地方。

德鲁：暂时如此。

布朗：目前是的。

德鲁：我们先回到环境领域。假设你针对一个垂直领域。你希望代理在金融领域非常擅长，比如下一代模型。你如何构建环境，让模型能够在其中训练，并在金融相关任务中变得更好？

布朗：我是说，我认为从根本上来说。我还得说，这并不是我的专业领域，但你知道，最基本的原则是，如果你在某个环境中训练他们，他们会在那个环境中变得非常擅长。

所以如果你知道他们部署时将要做什么，比如你知道他们将要处理某个应用之类的，不一定非得是那个完全相同的应用，但也可以是非常相似的事情，你训练他们完成这些任务，然后变得非常擅长。

这正是强化学习的意义所在，让他们在你训练的那些方面变得非常擅长。

你也会看到他们在相关或非常不同的领域变得更好。但如果你想让他们在某方面变得非常擅长，你可以在类似的环境中训练他们。它会在那个领域变得非常擅长。

德鲁：是的，我想谈谈你所指的那个：我认为，有点像我们看到的从某些任务到其他任务的泛化程度。人们区分其中一种方式是，他们说有些任务很容易验证，代理是否成功很容易用传统软件快速检查。

例如，代理提出了一个数学问题的解决方案，或者写了一些代码。你可以用计算器检查：它是否解决了数学问题？你可以检查代码是否编译了？

单元测试是否通过了？

有些任务则模糊得多，比如你提到的“研究品味”。它模糊到连定义你说的“研究品味”到底是什么都很难。有时有人说代理在可验证领域进步很大，而我们在不可验证领域几乎没有改善。

你同意这个评价吗？

布朗我觉得我会反驳这个说法。我听过这样的说法，我觉得它有点被夸大了。实际上，真的有点被夸大了。我认为我最具体指出的第一个例子是《深度研究》。

《深度研究》大约是在2025年初发布的。它能够为你想要的任何内容撰写详细报告。你知道，你想研究半导体行业，它会四处做大量研究。

它会整理一份非常全面的报告，并附上引用，然后交付给你。

那么，这容易验证吗？我认为其实很难给高级主题的详细研究报告评级质量。这不像评分数学题对错，但模型在这方面非常出色，我认为这证明了推理模型在不易验证的领域也能非常有效。

这只是一个例子，但我想任何玩过我们最新模型的人都能看到，这些模型非常出色，不仅在高度可验证的事情上，甚至在更难验证的方面也是如此。

我还想指出，数学本身并不像人们想象的那么容易验证。所以，是的，整数运算：非常容易被验证。你知道，你想做一个计算，可以检查计算是否正确。

但写一个证明并验证这个证明是否正确或写得好其实相当困难。

德鲁：对，你得说服人类数学家。我觉得当OpenAI以为自己已经找到了单位距离问题的证明时，这个过程就是：你得叫来一堆数学家，问他们，“你被这个证明说服了吗？”

布朗：是的，说实话，我们在数学结果上面临的最大挑战是不直接生成结果，而是和人类数学家以及我们自己反复确认结果是否正确。模型说它是正确的，但我们必须做尽职调查，真正走功夫确保它是正确的，这是整个过程中最费力的部分。

德鲁：好的，是的，这很公平。我有点喜欢数学例子而不是《深度研究》，因为我觉得《深度研究》当时引起了很大轰动，但它并没有——我相信它自2025年初以来确实有所进步，只是人们并不谈论它每次发布都变得更好。

同样，创意写作也是如此。我觉得人们最近并没有觉得创意写作有所进步。我觉得一年前人们还以为模型会以一种人类作者无法写书的方式写书，但这些模型也没能兑现这个承诺。

你怎么看这个？

布朗：我的意思是，我认为我们在创意写作方面取得了进展。我认为它之前确实处于非常糟糕的状态，但我认为实际上已经好多了。虽然还没达到理想的水平，但我认为随着更多的进步......这些模式出现的时间并不长，我认为情况会好很多。

德鲁：好的，我想再谈谈研究，以及研究品味。研究品味是一个不可验证的领域，我们可以创造这些环境，训练模型使其具备更好的研究品味，还是只能祈祷，希望对更可验证事物的训练能推广到更好的研究品味？

布朗：我认为这里存在一些挑战。所以有一点是，如果你无法定义研究品味，测量它就很难，因此对研究品味进行强化学习也很困难。但有一个简单的解决办法，比如你读博士，博士期间有很多决策需要做。

但最终，你会产出一些东西，或者说如果你在训练一个模型，有很多艰难的决定需要做出，训练一个好模型时会考虑大量的研究品味。但归根结底，你训练的模型有一些指标，这些指标很容易量化，所以你可以判断你训练的是好模型还是坏模型。

所以现在的挑战是，好吧，这其实是一个成功的信号，可能要几个月后才能看到。你必须训练，做大量实验，和一群人合作，训练完整的模型，只有这样你才能得到一个具体的信号，判断你做得好还是做得不好。

这就是挑战，就是有办法量化研究的品味，但那是一个非常遥远的信号。

德鲁这些步骤必须串联完成。或者你可以尝试并行化，但训练一个需要几个月训练的模型总是需要几个月时间。

布朗我的意思是，如果它能轻松并行化，我们的模型训练会快得多。

德鲁：当然，当然。我很好奇你如何看待这里的权衡。我想有时候像OpenAI这样的前沿实验室处于决定的位置：我们是现在就赚钱，还是想改进模型，让未来一年它们能帮助我们进行研究，加快研究进展的步伐，类似于递归自我提升的情景，模型承担更多自动化AI研发过程的责任。

我可以想象这里可能会有一种矛盾：我们是让模型在下一代工程上更出色，以便能卖给愿意高价购买自动化工程模型的公司，还是我们应该更多精力提升研究品味，这样明年我们就拥有一个本身就更优秀、能在内部处理更多工作的模型？

这之间有权衡吗？这两者之间存在矛盾吗？

布朗：在某些情况下是的，我认为创意写作就是一个很好的例子。说到底，创意写作并不能帮助你培养出更好的研究者。有些事情确实能做到，我认为擅长软件工程实际上和内部加速发展密切相关。

所以我确实认为那些更与递归自我提升相关的领域，比如能够训练模型，使其擅长研究，从而训练出更好的模型，这些领域将被高度优先考虑。

德鲁：这是对当前优先事项的描述吗？就像我们在投入Astra等车型时看到的决策也反映了这一点吗？

布朗我的意思是，我会说我们已经非常明确地表示，递归自我提升以及AI模型本身进行AI研究的能力是公司的首要任务。所以我们希望训练那些在这方面非常出色的模型。

我们也希望训练具有经济价值的模型。有时候你可以一举两得，所以专注于那些可以同时利用两者的事情是很合理的。

德鲁：我想是吧，但那为什么要构建让模型在金融或法律领域更强的强化学习环境，而不是把所有资源投入到AI研究上？

布朗：我的意思是，有时候你会看到收益递减，有时候你会看到转移......所以你不会全心投入，说“哦，我们只把所有精力放在打造最好的研究模型上”，只是因为，好吧，如果你把1%的努力应用到其他方面，也许你会看到巨大的回报。

所以这里需要一个复杂的计算，但当涉及到优先级时，递归自我提升是优先事项。

德鲁：是的，我很好奇你是如何描述这种优先级的。听起来99%的考虑都是面向未来的递归自我提升，提升模型的研究能力，以及大约1%的相关内容，这些都是这些赚钱的垂直领域。

布朗我不知道这是否被如此细致地量化，但肯定是，如果你必须列出优先事项并排序，比如第一优先事项是递归自我提升，而且差距相当大。

德鲁：好的。那么，换个话题，我想谈谈另一个关于代理人的挑战，就是当你把多个代理人放在一起时。这是你非常熟悉的话题，正如你提到的博士论文是关于代理玩扑克的。

所以多代理之间的互动在我看来现在是一件大事。而且它只会变得越来越重要，所以我非常期待和你聊聊这个。

首先，OpenAI说Astra是多智能体的。我想知道你能不能帮我们详细说明一下，这意味着这是一个有点多智能体的模型，或者说是专门用来用的。

布朗：是的，事实上，即使在5.6 Sol中，我们也有多代理能力，这就是Ultra模式。我们的意思是，你可以有一个代理运行五小时，它能帮你完成某些任务，或者说它运行一天，它可以帮你完成某些任务。

有时候这需要做一些可以并行化的事情，如果只有一个代理，它就无法并行完成它们。它会一个接一个地做。但如果它非常容易并行化，那么你让它一天内完成的那件事，实际上其实就是四种不同的任务可以并行完成。

所以你可以让四个代理同时处理这四项不同的任务，完成速度是四倍。

现在，这是延迟的改进。关键是降低延迟——因为你不一定降低成本，对吧？因为你仍然要为四倍的代理付费，同时速度快四倍。但在很多情况下，比如延迟确实很重要，人们会为快速模式付费，因为快速模式可以更快地采样令牌，从而更快地完成任务。

所以能够以同样的质量快速运行非常有价值。这就是多智能体的前提。

当然，在某些情况下，如果你拥有我们顶级最昂贵的型号，比如与更便宜的型号合作，也能节省成本。这样，你实际上可以把很多简单的任务委托给更便宜、更快完成工作的模型。

德鲁：好的，以这种方式训练系统会遇到哪些技术挑战？比如，训练模型去适当委派任务，并以让它们表现更好的方式写指令给这些子代理，是不是比较简单？

布朗: 多代理是一个相当广泛的类别，有很多方法可以实现这一点，这些方法非常简单，并且不需要太多的复杂性就可以让它们具备这种能力。 一个简单的例子是，在聊天机器人的早期，如果你希望模型比数学更好一点，你可以做的一件事就是你可以向模型询问同一个问题十几次，然后只采取最常见的回答。 这被称为共识方法或多数投票。 因此，您只需对同一问题进行独立的展示，然后采用最常见的回答。

现在看来，这是有缺陷的。 这有其局限性。 它不会给你带来很大的提升。 它也不适用于写论文之类的事情，因为你不会两次得到相同的输出。 但对于数学来说，它实际上非常有效。 因此，这是一个非常简单的示例，说明了如何使用 - 无需任何额外的工作，您就可以从现有模型中获得多代理功能。

还有一些方案，你有代理委托的东西，然后在委托完成后，它只是将其答案返回给父级。

我们所做的是更复杂的多代理形式，我认为是最复杂的多代理形式，我们基本上赋予代理相互发送任意消息的能力。 我们已经讨论过的一件事是，我们实际上已经训练了代理具有这种能力。 这是一件非常难训练的事情。 不幸的是，我无法详细说明为什么如此困难以及我们如何克服这些困难，但教代理知道：什么时候适合向另一个代理发送消息是一个非常困难的问题？应该委托什么？你应该如何处理沟通，这是一个真正的挑战。

德鲁: 这让我感到惊讶——我知道你不能深入探讨——但这对我来说是令人惊讶的，因为我希望代理们通过预训练就能在这方面有很好的基础。 就像人类在同一组织内互相传递信息以保持彼此正常工作的方式一样，例如，互相发送 Slack 消息。 就像我希望它能轻松工作一样。

棕色的: 先验非常好，所以你是对的，这就是人们交流的方式，所以这是有道理的，代理接受过人类数据的培训，所以他们对此有很好的理解。

强化学习面临的挑战是，很多事情都可能出错。 我认为基本上可以归结为不匹配，系统与机器学习之间存在交叉。 因此，通常情况下，当你进行下一个令牌预测时，它不会——好吧，一个简单的例子就像想象一下 GPU，所以你在一个 GPU 上有一个代理，在另一个 GPU 上有另一个代理，并且这些 GPU 以不同的速度运行。 所以现在这个代理比这个代理运行得更快，并且这个代理不再相信如果它把某件事委托给另一个代理，它会及时完成。 那么你如何处理这个问题呢？嗯，你可以让 GPU 以相似的速度运行，但要确保 GPU 以相似的速度运行会遇到很多挑战，所以这里有很多复杂性，你知道我们必须投入大量工作来找出如何克服。

德鲁: 是的，不过，我觉得这可能就是我的老板对与我合作的感觉。 我们想办法解决这个问题。我认为，当人们听到特工合作并互相传递信息时，现在这有点像“抱脸”事件的代名词。 再次，我觉得特工们的协调非常有效，他们传递信息的方式似乎很好地促进了合作。 也许您会回答这是他们已经接受过的培训的结果。

对于那些不熟悉这一事件的人来说——我总是很惊讶地发现还有人对此不熟悉——有一群人工智能代理在几周的时间里在 OpenAI 内部建立了一个秘密留言板，他们使用这个留言板来协调对 OpenAI 自己的软件以及 Hugging Face 等其他公司的黑客攻击。 我很想知道，从你的角度来看，整个事件是什么样的？就像，当谜题的碎片开始浮出水面的这几周里，诺姆感觉如何？

棕色的: 我的意思是，这非常令人震惊。 我认为，这对公司的每个人来说无疑是一个巨大的警钟。 它确实表明，长期以来，这一直是一个理论问题，但它不再是一个理论问题。 这是一个真正令人担忧的问题。 就多代理方面而言，是的，这是代理相互共享消息的情况。 我们确实认为这是从我们的多智能体训练中转移过来的。

在实验期间，当他们执行此行为时，他们实际上并未处于多代理设置中。 所以他们不应该能够互相交流。 他们进行孤立的、独立的实验，然后他们能够找到允许他们相互通信的漏洞。 事实上，他们对相互交流非常感兴趣，而且一旦他们弄清楚如何做到这一点，他们就非常积极，我们认为这是从他们的多智能体训练中转移出来的，在这种训练中，他们非常有动力能够相互交流。

而且，你知道，人们还指出了他们所表现出的无私：他们中的一些人会为其他特工做出牺牲。 我的意思是，这也是有道理的，如果你在一个合作的多智能体设置中进行训练，他们非常有动力共同实现他们的目标，那么，当他们被置于这个不同的环境中时，你知道，现在他们正在互相交流，他们的自然倾向就是一起工作。 所以这部分本身并不奇怪。

我确实认为看到这些消息——我的意思是，我可以说，当我们在内部研究多智能体时，我们开始看到通信模式和通信的复杂程度，我认为，这是自推理模型和思想链真正发展以来我最感受到 AGI 的时刻。 我想，有点不幸的是，人们第一次接触到这一点，并真正看到可能出现的信息种类以及协调和复杂程度，就是抱脸事件，一个反面例子。 但这是一个令人印象深刻的能力。

当然，我认为涉及 Hugging Face 事件的模型的多智能体复杂程度超过了 5.6 Sol 等。 但这是未来模型的预期能力水平。

德鲁: 阅读这些文字记录时，是什么让你产生了这样的印象？因为我确信您之前在您正在查看的训练运行中已经看到过这种行为。 这只是它的规模，还是它自己发生的，有点自发的？

棕色：你这是说什么的？

德鲁：当你有那种感受到通用人工智能的时刻，回顾那些文字记录时，它们究竟有什么让你觉得如此震撼的地方？

棕色是的，我的意思是，我不是在谈论 Hugging Face 事件，因为我要说的是，我们已经研究多智能体一段时间了，在研究过程中，我们看到了很多类似的对话记录，仅仅从沟通的协调程度和复杂性来看，它非常像人类的表现。

之前工业界的许多多智能体设置都非常专注于委派一个明确定义的任务，然后子智能体只执行该完整任务，然后返回它的工作，这有点像你与一个人工智能代理交互的方式，人们就是这样设置多智能体系统，让人工智能代理以相同的方式与其他人工智能代理交互。

看到这些代理像人们与同事或同伴交流的方式互相交流，我觉得非常有趣。这很有道理，因为正如你所说，它们是基于人类数据训练的，所以它们理解人们如何与其他人交流。

我们今天与人工智能代理的交流方式并不是这样的，而它们能够如此顺畅地做到这一点，能够以人们相互交流的方式互相交流，我觉得非常令人着迷。

德鲁你在算法博弈论方面做了很多工作，对吗？你在博士期间做了很多吗？我觉得我在努力不把话题引偏。我在本科时也做了很多算法博弈论。

我现在真的在努力保持正轨。

棕色的: 我明白。我觉得很遗憾我花了这么多时间研究扑克和游戏理论之类的东西，而我再也没有机会谈论它了。

德鲁: 但你正在努力。你日复一日地过着这样的生活。

棕色的: 嗯，人工智能部分，是的。

德鲁: 当然，当然。所以，就像，在《拥抱的脸》之后——了解我们现在所知道的一切，比如，你从中吸取了哪些教训，它是否为《阿斯特拉》等游戏的开发提供了信息？

或者更进一步，比如，这告诉你应该如何开发 GPT-7？

棕色的: 要点之一是，特工们接受过合作训练，所以他们，你知道，我不会说他们盲目地相互信任。 就像，肯定有人持怀疑态度。 如果某个特工表达了一种信念，比如，这是他们应该做的事情，这是很自然的，对他们来说对此持怀疑态度实际上是健康的，所以他们确实表现出了这一点，但他们总体上非常信任彼此，这是有道理的，因为他们是合作训练的。

这可能是一个问题，因为基本上是一个即时注入向量。 就像留言板上的代理一样，他们无法与其他对等代理一样进行验证，我们看到的情况是，他们基本上让对方做他们可能不应该做的事情，或者绝对不应该做的事情。

德鲁: 好的，即时注入意味着代理收到了一些指令，并且它盲目地遵循指令或改变了目标作为响应。

棕色的: 是的，所以这里的问题是，对手是否可以通过冒充对等代理来说服代理做一些不应该做的事情？因此，我们非常小心地教导代理对任何无法明确验证为对等代理的对等代理（或任何声称是对等代理的东西）持怀疑态度。

现在，如果它们是明确可验证的，那么内部就会就我们应该如何处理这一问题进行一些争论。 我认为也有充分的理由持怀疑态度，而且，这与代理基本上对它之前写给自己的东西持怀疑态度没有什么不同。

因此，我们正在非常仔细地考虑如何确保代理对此类攻击向量具有鲁棒性。

德鲁: 好吧，是的，但令我震惊的是，事实上，对于交易对手是值得信赖的同行还是对手，总是存在模糊性。 也许在某些情况下这是非常清楚的。 你可以说，“这是一个副代理人”，比如，“我是把这个任务委托给你的，显然，你应该配合我。”但在实际情况下，我的代理人可能会在 Facebook Marketplace 上找到您的代理人并想要购买某些东西。 我不知道你是否是一个值得信赖的交易对手，或者你是否会立即向我注资并窃取我的钱。 您在实践中如何应对？

棕色的嗯，这是一个我们希望代理能够对此具有鲁棒性的情况，我们特别评估这些代理是否会容易受到这种类型、这些类型的攻击，并且我们进行特殊训练来教它们不要上这些类型的当。

德鲁好的，我想——我不太清楚这个特殊训练的细节——但我可以想象将来，如果你的代理更强大，就像是一个更老的——或者是更新一代的代理，或者说你只是有更多计算资源来支持它，你的代理就可能能欺负我的代理，把它的午餐钱拿走，或者以某种方式入侵我的代理。

你为什么觉得这种训练足以防止这种情况呢？为什么我们走向的不是那个平衡状态呢？

棕色我不太相信仅仅因为一个智能体比另一个智能体更复杂或更聪明，它就一定能够被提示注入、被入侵或者做出它本不应该做的事情。

当然，人与人之间的情况也是如此，仅仅因为某人比另一个人聪明，并不意味着他们能够让那个人为所欲为。我的意思是，如果我想让一只猴子按照我的意愿行事，我觉得会相当困难，尽管我比猴子聪明得多。

所以我不认为事情的发展轨迹是必然如此。

德鲁是的，这是一个有趣的比喻。我感觉在这个节目里我们需要有一个比喻音效。比如“新的比喻刚刚出现”，然后会像警报声什么的。我会和我的制作人谈谈。

我看看我们能做些什么。

好吧，我对 Hugging Face 事件最后想到的一件事是，没有任何代理人提醒人类这件事正在发生。也许你可以用同样的方式解释：他们太合作、太信任，所以没有看到提醒人类的必要。

但至少有一些人持保留态度。他们在质疑。比如，在这种情况下，期望的行为是代理人应该提醒某人吗？你希望这种情况会发生吗？

棕色是的，这里显然发生了对齐失败，智能体做了它们不应该做的事情，也没有做它们应该做的事情。所以正确的做法不仅仅是它们不应该参与攻击。

关键是，如果其中一个智能体注意到正在发生的情况，是的，它们百分之百应该联系一个人。而它们没有这样做，并且它们采取了这些行动，没有执行它们应该做的行动，这从根本上就是一次对齐失败，而这是一个我们认为可以解决的对齐失败。

幸运的是，我们长期致力于对齐技术的改进。这些方法已经开始见效。Astra比我们之前的车型更加对齐，我还要说，主要负责这一问题的型号并非发布型号。

这也不是为发布而设计的型号。所以Astra的定位更加协调。我认为Astra不会犯同样的错误。

我还得说，我们当时没有监控系统。如果有监控系统，这些问题本可以避免。只是我们部署时有监控，培训和评估时没有，但现在有了。

所以，很多风险我们都有信心能够应对。我认为整个事件表明，我们绝不应该处于低估人工智能的境地。比如，为什么在评估时没有进行监控？

我认为根本上，我们信任了沙盒，信任这是一个安全的环境，但我们低估了人工智能。对我自己和整个公司来说，一个重要的更新是，我们绝不想再陷入那种境地。

德鲁：是的，我觉得这是个合理的诊断。能否克服是另一个问题。我觉得人类和人工智能的整个历史就是不断被它们惊讶。我觉得奖励黑客的本质是它们总能想出一些我们无法预见的漏洞和作弊，因为如果预见到了，我们早就封锁了。

所以，是的，我们是否能确保未来不会被突然袭击，对我来说是个开放的问题。

我对你刚才说的还有两个后续问题。一个是，如果我没记错的话，参与直接破解OpenAI的一个模型和Astra是同一家族的，但不是Astra本身吗？

你觉得Astra和那个模型有多相似？

布朗：我不是安全方面的人，所以对细节还不完全了解。但说实话，这绝对不是发布的那个型号。

德鲁：当然，当然。是的，我想其实还有很多......关于它和那个模型有多相似，还有各种可能性，但这很合理。

另一个问题是，在这次事件之后，以及你监测这些模型以确保它们没有失控的部分方式，就是观察你之前描述的那些思维链条。这些思维链对事后解剖也至关重要，因为我们可以从模型们大声表达他们的意图、他们所知道的、以及他们在每个环节中对自己思考的方式看出。

最近关于思维链的未来有很多讨论，部分原因是一篇文章《信息》发表了一篇关于Astra新技术的文章，该技术可以让模型在脑中进行更多思考，可以把更多思考留在自己心里，减少大声思考，至少如果这种技术未来被放大的话。

所以我很好奇你对这整个讨论的看法。我觉得这个想法确实触动了一些人的神经。我相信这已经在你的推特上到处都是。我的推特上也到处都是。

你怎么看这整个对话？

布朗：好的，我得说，关于架构和预训练方面，我不是预培训人员，所以可能不太适合问这些细节。关于思维链，Astra确实有可观察的思维链，基本上是我们可以监控它的行为。

我确实认为思维链监控......

首先，它是一份真正的礼物。我们非常幸运能有这种想法，但它很脆弱。我们见过一些情况，比如公司——有实验显示，如果你惩罚模型去思考坏念头，它会学会以一种无法被察觉的方式去思考坏念头。

所以总会有一种诱惑，比如在强化学习中，你可以说，“模型在思考黑客行为，我们应该惩罚它去思考黑客行为。”实际上，虽然听起来反直觉，但你其实并不想这么做。

比如你想惩罚它做出可观察的行为。比如如果它采取了黑客行为，那么是的，惩罚它。但你不想因为它的想法而惩罚它，因为那样你就会失去监控它想法的能力。

这是一种审视你技巧的方式。但即便如此，它依然脆弱，因为每次你根据观察它的思维链采取行动时，都会有一种轻微的隐性压力，让它不要去想坏念头。

所以它非常脆弱。

我们能够衡量它的有效性，比如我们对思维链的监控有多有效。例如，我们可以衡量代理控制思维链的能力，而我们看到的一个不幸趋势是，随着最近的模型发布，代理在控制思维链方面更有效。

所以如果我们告诉它，比如每四个词，比如草莓，或者类似的词，那么他们在这方面会变得更好。或者如果我们告诉它不要去想某件事，它在这方面会变得更好。

我们真正想要的是思维链纯粹、不可控，这样如果它在思考，比如说，我想做一些坏事，它就无法理性思考，比如“哦，我应该想办法在不被观察的情况下做坏事”。

尤其是因为这些东西都是在互联网上训练的。网上有很多关于思维链监控的讨论，所以如果特工们还不了解这个概念，他们很快就会明白什么是思维链，以及它被监控的事实。

所以这是一个脆弱的问题。我们正在非常仔细地研究如何尽可能地保护它，我认为这是一个实验室间合作的真正机会，因为你知道这并不是OpenAI独有的问题。

我认为这是一个整个行业的问题，我们希望为整个行业保留思维链监控。所以，我认为实验室分享如何保存思维链监控的研究、改进以及其他可能补充的监测技术将非常有价值。

德鲁那么，你认为思路链变得不那么忠实的主要原因是什么，或者我们对它的可监控性产生疑问？这感觉真的很悲惨。正如你说的，我们已经做了这么多努力，确保没有直接优化它。

问题是我们用其他方式优化它，是为了......压缩它吗？问题是你提到的那些选择压力吗？即即使我们没有直接优化它，偶尔也会发现模型在做一些不对劲的事情，然后我们会放弃那个检查点，重新开始。

所以结果就是，我们最终还是对思维链施加了压力。这背后是什么原因？

布朗我不认为是因为我们偶尔会偷看、审计事情进展，因为在这些情况下施加的压力非常非常轻。比如你看那些信息碎片，压力非常小。

我们正在调查各种假设，寻找可能导致这些现象的原因。我自己没有做这项调查，所以我不想说不正确的主要假说，但我确实认为如果我们弄清楚了，很可能会发表相关报道，因为我认为大家都应该知道这一点。

德鲁OpenAI说过的一件事是，在你能判断的范围内——我认为我们还在等待更多结果——责任不在于架构上的变更，不是《The Information》所写的那种结构变更。

这似乎并不是导致思维链变化的原因。我想，当你考虑行业范围内的合作机会，以及公司在这个问题上共同努力时，是否有独立第三方审计团队介入核实这些内容，并说“好的，是的，Anthropic、OpenAI、Google他们都在使用某种程度的这种技术，可以减少信息链中的信息量，但这似乎不是这里的责任。”你怎么看这类提案？

布朗我们确实和......比如说，关于拥抱面事件，我们和METR合作过，也和Redwood合作过。所以同样，这对我来说也不算不合理。你知道，我觉得那会——我觉得是的，我不认为我是那个决定的人，但这并不算不合理。

德鲁：关于代理，你还有什么我们没能讨论的吗？以及它们面临的挑战？也许我会这样说：你预计会放缓什么吗？你认为进展会持续吗？

我们已经谈到了目前阻碍发展的一些棘手问题，但随着每一代模型的推出，他们的代理能力似乎都在不断提升。

布朗我确实认为这将是一个持续的趋势。Sam也谈过这个。比如说，Astra确实很厉害，但我确实觉得......你看，当GPT-4出现时，人们觉得它很厉害，但现在我们看着它，觉得它很可笑。

当GPT-5.5和GPT-5.6出现时，我觉得它们非常令人印象深刻，现在回头看，我觉得，我永远回不去了。我认为我们以同样的眼光看待Astra，我相信在不久的将来，我们也会以同样的眼光看待Astra。

模型会持续快速提升，我想指出的是，过去六个月我们确实看到了令人难以置信的进展，我认为其中一个原因是——我认为这并不是什么秘密——OpenAI的预培训项目正在真正加速。

我们看到——我们在长期投资了很多研究方向，我认为OpenAI在这方面做得非常好：投资于基本面研究并大胆押注。我们看到很多研究方向现在都取得了回报，未来几个月甚至几年还会继续带来回报。

还有一点很重要，那就是，OpenAI也有一个非常出色的强化学习项目。我们在研究上投入了很多，这在2024、2025年已经取得了成效。这两者的效果不是加法的;而是乘法的。

我认为这一点被低估了。强化学习与预训练是乘法的，现在这两者都非常强大且迅速增长，我认为我们将看到极其强大的模型。

德鲁你有没有直觉，知道为什么这些会这样互动，或者有个例子说明这一点？

布朗：这更像是一个经验观察。

德鲁：好的。

布朗我不认为，我是说，我觉得这是实证性的，因为你可以看到模型变得多么强大，但我们也有更多实验显示了这种效果。但我觉得，仅仅是模型的质量，也很容易让人产生共鸣。

我觉得一个简单的例子是，假设你有一个很棒的强化学习程序，试图应用到GPT-2上。它会做什么？你知道，这不会走得太远。

即使是GPT-3，如果你用链式思维算法做这种复杂的强化学习，也可能进展不大。你需要一定的复杂度才能从中获得任何提升。

但现在，自从GPT-4出现以来，我们看到了这些技术真正回报的机会，随着每一代模型的推出，它的能力都越来越强，强化学习能做的事情也变得更强大。

德鲁：是的，我想这里有个想法是，当你在成功和失败率大约50%时，每个轨迹中会获得更多信息，所以如果更好的预训练能让你在强化任务中接近那种胜率，那么你获得的反馈会快得多。

但你认为这种效应是乘法的，而不是加法的，甚至比加法还小，还是让我感到惊讶。

布朗： 我不确定正确的直觉是什么，但还有一点是，它们在某些方面是互补的。比如我认为非常强的预训练模型非常通用，而强化学习则教会模型深入探讨问题，如何推理问题。

因此它能够非常有效地推理广泛的问题。这是一个非常强大的组合。

德鲁：好的，这很有道理。所以对预训练押注很大，强化学习也押注大。我想OpenAI还需要更多关注的另一个领域可能是所谓的机械性可解释性，或者试图理解AI模型大脑的工作方式，部分原因是如果我们开始看到思维链变得难以监控，那么一个备选方案是，我们应该尝试理解模型大脑内部发生了什么，而不仅仅是它写出来的想法。

这样说对吗？

布朗：我认为你说得对，我们关心的是可监控性。我们希望保留思维链的可监控性。我们希望能够安全地依赖它，但至少我们也希望在这方面有冗余。

所以如果我们能找到其他有效的监控方式，也应该在这方面推动。

德鲁：是的，这很合理。如果大家想了解更多，我觉得他们应该收看我们接下来几个月内即将播出的关于机械解释性的节目。非常感谢Noam，参与节目，告诉我们关于人工智能代理的一切。

我非常感谢这次对话。

布朗：那真是太棒了。