多智能体、对齐与递归自我改进

诺姆·布朗的新一集。

我们讨论了多智能体、Navier-Stokes，以及当前数学进步的爆炸式进展告诉我们自动化AI研究后会发生什么。

我们还讨论了在启动RSI之前，如何判断模型是否真正对齐。

请继续观看YouTube;请继续收听苹果播客或Spotify.

赞助商

• 简街对人工智能的兴趣远比你想象的要长得多，不仅仅是为了交易。2011年，也就是AlexNet整整一年，ChatGPT推出十多年前，他们举办了Eliezer Yudkowsky和Robin Hanson之间的首次FOOM辩论，讨论AI是否会导致智能爆炸。现在Jane Street将通过新小组重新探讨这个问题：Daniel Kokotajlo、Ege Erdil、Ryan Greenblatt和Jaime Sevilla，由Ron Minsky于今年十月在旧金山主持。我预计这将是一场真正精彩的对话。注册请访问janestreet.com/dwarkesh

• 格罗克机器人让交接工作变得非常简单。它运行在自己的云端电脑上，安装了端到端处理任务所需的工具。播客中，我们使用 Grok Bot 来帮助制作视频。你可能注意到我们的广告中包含真实网站的动画。过去要做到这些像素完美，意味着我们自己运行复杂的多步骤工作流程。现在我们只需让 Grok Bot 来处理。最棒的是，Grok Bot 已经掌握了我们所有的规格和偏好，所以我们每次都不必重新描述任务！亲自体验一下 Grok Bot 吧。x.ai/bot
• 对立面这让你拥有庞大测试套件的信心，而无需实际编写。假设你正在进行一个大型后端重构：构建足够多的测试以供信任可能需要数周时间。Antithesis 通过运行软件在无数模拟世界中运行，注入错误并寻找失败来解决这个问题。在任何 PR 中，你可以调节调节，决定具体测试量。由于每次运行都是完全确定性的，代理可以在出现漏洞的瞬间分支，倒带、检查内存并重放，同时原始测试继续运行。了解更多请访问antithesis.com/dwarkesh

时间戳

（00：00：00）——多重特工与纳维-斯托克斯

（00：15：28）– 人工智能公司将如何运作？

（00：22：02）——数学进展告诉我们关于递归自我提升的启示

（00：40：22）——拥抱脸与对齐

（01：01：18）——内部/外部模型差距

（01：08：34）——思绪链正在堕落

（01：14：12）——我们怎么知道阵营问题何时被解决？

文字记录

00：00：00 – 多重间谍与纳维-斯托克斯

德瓦尔克什·帕特尔

今天，我正在和诺姆·布朗他是OpenAI的研究员。他是后来发展的奠基性贡献者之一。O1还有推理模型。现在他正在研究多智能体系统.说到这里，你们上周宣布了你解决了其中一个千禧奖问题系统包含10,000种不同的人工智能代理该项目在88小时内花费了1300亿代币。

我之所以想和你谈谈，其中一个原因是，你可能是两三年前最早思考推理模型如何让我们预见未来的人之一。因为如果你放大规模推理计算方面，你可以看到几年后模型的基础能力。

我觉得你现在处于类似的位置，可以帮助我们了解未来能力会是什么样子，鉴于我们目前能实现的代理规模的巨大扩展。

诺姆·布朗

我认为，当你绘制这些推理模型的性能时，测试时间计算在X轴上，基本上任何推理基准的表现在Y轴上，你会看到一个非常明显的模式：这些模型思考答案的时间越长，表现越好。

这是非常自然的事情。人也是一样。如果你在参加SAT考试时只有五分钟完成整个考试，你可能表现不会很好。如果你只有五个小时，你可能会考得更好。

AI模型其实很相似。他们会用这段时间自言自语，理清思路，处理不同的案例，排除不同可能性，并在之前的发现基础上继续发展。

问题是，随着你不断推进，会遇到延迟瓶颈。你不想坐等三年才有回复。所以你可以做的是很多人做的事。他们并行化。他们只是组建一个团队。

如果你要创办一家公司，你会想把一群人聚集在一起，这样你才能更快完成。这些AI模型也是一样。让多个代理一起做某件事会有帮助，因为他们能更快完成。

所以多智能体是一种并行扩展测试时间计算的方法，而不是纯粹串行的。它效率较低，因为单个智能体并不拥有所有上下文。但如果做得好，它是一种非常有效的测试时间计算扩展方式。

德瓦尔克什·帕特尔

我会问一堆天真的问题。这是一个未发布的模型，所以我们还没有公开展示这些系统是如何工作的。我只是有很多地方让我对这些系统的定性属性感到困惑。

我震惊于你能在如此短的时间内集中注意力的认知努力规模。想想1300亿代币是。如果一个人把思考当作全职工作，连续进行，1300亿个代币将是一个人类思考4000年。

每天工作八小时，正常工作周。从古苏美尔到今天，一个人连续思考这么长时间，集中在88小时内。

我觉得从质性角度看，这是一个非常重要的考虑因素。我很惊讶没有更严重的并行化惩罚。你可以让一万个代理协作。也许是因为代理比人类更擅长协作，所以速度快得多。

他们实际上可以在如此大规模上高效协作。或者，也许并行化的代价很大。

诺姆·布朗

我们先谈谈并行化惩罚，然后再谈定性方面。事实是，我们对多智能体扩展到这种规模的科学研究并不充分。当我们发布5.6版本我认为那是我们模型中第一次真正拥有多智能体系统。

我们实际上在博客文章中展示了多智能体系统扩展性能的图表，因为我们有这个选项。这是Ultra模式。默认是四个智能体，但你可以设置更高。

图中展示了在某些基准测试中，一个代理、四个代理协作、16代理协作的性能。这取决于基准，但对于某些基准测试，你会看到如果有四个代理处理问题，速度会是问题的两倍。

因为四个代理工作时间减半，你支付的费用是两倍，结果是两倍。如果你去16个代理，你会看到类似的模式。效率稍低一些，但你仍然能看到这种表现。

德瓦尔克什·帕特尔

这是线性串行时间加速，还是随着并行代理数量增加而产生的亚线性加速？

诺姆·布朗

它略带亚线性，但很大程度上取决于问题本身。比如数学，其实很容易并行化。虽然不是最可并行化的，但非常可并行化。网页搜索，比如做深度研究报告中需要查看大量资料，是非常可平行的。

我怀疑写小说这类事情几乎无法平行化。你可能看不到一万名特工一起写小说带来太大好处，就像一万人一起写小说也不会带来太大好处一样。

所以性能确实取决于领域。我们在发布的博客文章中会测量大约16个代理。问题是，要把这项科学推广到1万个代理非常困难，因为成本太高了。

德瓦尔克什·帕特尔

你们只是周末才做的。

诺姆·布朗

但这只是一个数据点。我们不知道单个代理需要多长时间才能解决这个问题纳维-斯托克斯，因为我们还没做那个实验。也许我们会做，但这也只是一个数据点。

如果我们想做彻底消融在那个规模下，实验成本实在太高了。所以我们必须做某种系统的科学研究，了解当你用到64、128、256左右时会发生什么，并了解其行为。

但要把这个数字推到10,000，确定我们实际使用10,000个试剂相比1,000个，实际效果会非常困难。

我想澄清一件事。解决千年奖问题的努力，并不是多智能体的贡献。我甚至不会把10%的功劳归给多智能体。现实是，OpenAI已经训练了一个非常强大的模型。

我们可以让这个模型在很长的时间范围内运作。我们可以让它并行思考。

但归根结底，我们之所以能做到这一点，是因为我们有一个通用且非常强大的模型。像多智能体这样的技术很炫目且新颖，这可能因此获得了不成比例的认可。

但核心原因是这是一个非常强大的模型。

德瓦尔克什·帕特尔

这种概括让我很震惊。我不知道这些系统是如何训练的，但大概是训练方式强化学习训练会发生。你有一堆可检验的综合问题，然后对它们做大量强化学习。

我猜在训练过程中，模型从未解决过像千禧奖那样雄心勃勃的问题。但泛化足够强大，使得这些更容易且可验证的问题可以推广到对如此难问题的平行努力。

诺姆·布朗

我认为这是真的。首先，我们确实在非常困难的问题上训练模型。确实存在一个差距。我们看到，如果我们对某些类型的任务进行训练，它能够完成比这些任务更具雄心的任务。

一个有趣的挑战是，随着模型越来越智能，我们能问的许多问题变得太简单了。挑战模型很难。我确实认为这会很有趣。如果我要为你可能看不到像这样的人工智能来论证大型语言模型走和AlphaGo以及阿尔法零还有所有这些游戏型人工智能，可能就是这种问题。

比如AlphaZero，你有自乐，你有一个无限课程.你总是在和同样强大的人工智能对战。而像用强化学习训练大型语言模型（至少目前有的方法）是给模型一个问题，让它去解决。

如果问题简单到它能在一秒钟内解决，那它其实没学到什么。

如果我们没有问题可以挑战它，那么进展就会变得更加困难。我确实认为有办法绕过这个问题。我们还没有真正撞上那堵墙。我认为如果它真的成为严重问题，应该有办法绕过。

但这是一个合理的情景。

德瓦尔克什·帕特尔

仅供观众参考，当你提到AlphaGo或AlphaZero时，你指的是达到人类水平表现后相对快速地达到超人水平。

诺姆·布朗

如果你看看游戏型AI的发展轨迹，比如走一年内，他们从击败欧洲冠军——大概是世界第50名——击败世界冠军，甚至比任何活着的人类都强大好几个数量级。

在数学等领域，我们可能看到类似的发展轨迹，但我认为存在一种非常合理的情景，这种情况不会发生。

德瓦尔克什·帕特尔

我想了解，如果六个月后人们能够访问多代理系统，那么应该如何模拟与多代理系统协作或雇佣的体验？

诺姆·布朗

我应该先谈谈这些多智能体系统到底是如何工作的，我认为这与其他人工智能中的许多多智能体系统非常不同。许多在大型语言模型（LLM）中使用多智能体的人往往采用这种非常支架化的方法。

例如，可能有一个协调代理将工作委派给一群孩子，并给他们一个任务。孩子们负责处理任务，然后返回他们的答案。

这看起来是一个非常合理的配置，一个非常合理的支架。这确实有帮助，但这类设置存在许多局限性。例如，如果在这个设置中，你有一个协调员向孩子发送任务，孩子们负责任务并返回答案，那么如果两个孩子被分配到类似的任务，会发生什么？

他们能互相交流吗？通常答案是否定的。那非常低效。

如果你被分配了一个任务，而和可能知道你正在做的问题答案的人交流真的很有帮助——或者你正在做的事情的一部分——那你能直接联系他们说，“嘿，你能帮我解决这个项目吗？”会非常有帮助。

但很多系统并没有这样的设置。加入这个功能会显著增加你所处支架的复杂性。

还有一点是，如果孩子其实并不理解，或者有澄清性的问题怎么办？那它就必须在“好吧，我是不是应该回去问问题而不是解决问题？”还是“我是不是要先解决问题，假设家长希望我做什么，然后就这样解决？”在任何人们设计的支架中，总会有局限性。

我们想采取的方法是尽量在最小的结构中烘焙，给代理们非常原始的工具，让他们自己摸索如何有效使用这些工具。所以我们赋予代理给另一个代理消息的能力，当它给另一个代理发送消息时，它会入上下文中。

它可以做一些类似的事情，但这基本上是核心。它可以随时发送消息——只需一个工具调用——然后再发送给其他代理。

他们自己想出最佳协调方式。事实证明，如果做得好，你会得到非常复杂的行为。在我看来，这很像人类协作者在Slack上的工作方式。

当我们做这个项目时，看到这些经纪人一起解决问题，真的非常令人兴奋。我记得一个例子。我们给经纪人一个问题，然后一个经纪人说，“我想我找到了答案。”然后另一个经纪人说，“其实，我得到了不同的答案。”然后他们就展开了一整场讨论，比如，“你是怎么得出这个答案的？你能给我解释一下吗？”我们来回争论，试图澄清彼此推理中可能出了什么问题。

然后他们终于聚在一起，“哦，是的。好吧，这似乎没错。”然后这就直接传给其他特工，“其实，我改了答案。我觉得他说得对。”这感觉就像是一场非常自然的对话。

那感觉就像你看见的时候思路链条这是第一次通过强化学习训练，你会想，“哦，这就像一个人在思考时写下自己的想法。”感觉就是这样。

看到这种行为真的很酷。说实话，与这些事物合作感觉很像和一个人合作。这是一种非常自然的流程。

德瓦尔克什·帕特尔

不过，未来可能显著的一个质的区别是，这些系统思考的速度可能超过每秒输出的符号数和人类说话速度的十倍以上。它们一直在工作。

它们不睡觉。它们彼此协作的速度远远超过人类与其他人类协作的能力。

我正在思考一年后该质性地期待什么。是不是像影子组织那样，在我公司里的运作速度比人力快100倍？一个人类组织需要一年才能完成的事情，竟然能在一周内完成？

诺姆·布朗

会不会感觉陌生？我不知道。我发现现在处理这些东西出乎意料地自然。我认为这种情况可能会改变。比如，我们有这些超快模式，可以让采样速度快10到15倍之类的。

那样的话，跟上这些东西会很难。想法是这些代理在相互通信时可以非常快。但他们也能分辨自己在与代理对话和与人对话时的行为，在这两种情况下行为会有所不同。

德瓦尔克什·帕特尔

我们公开看到的复杂多智能体系统的主要例子是拥抱脸那张.显然，我发现很多令人担忧的地方。但我觉得有趣的是层级结构、中层管理的自发出现。

听起来你是在说这种组织层面是从培训中自发产生的？

诺姆·布朗

细节是自发的。虽然我们给了代理很多灵活性，让他们决定如何以最佳方式相互沟通，但我们仍然给他们一个起点。我们给他们一个关于合理沟通可能是什么样子的先验。

他们也接受了大量人类文本的训练。他们理解人类如何组织和协调，所以这些都已经融入其中。

我觉得他们能把这个问题打磨得很惊人。如果你看看它最初的表现，并不是很复杂的行为。事实上，要让这些代理以有效的方式协调非常困难，因为他们很容易崩溃，变成“哦，我们都应该独立解决问题。”那是局部最小值你可以投入其中。

但如果做得好，他们可以以非常有结构的方式非常有效地协调。

00：15：28 – 人工智能公司将如何运作？

德瓦尔克什·帕特尔

几年前我写过一篇文章，内容是自动化公司看起来像。我在想，如果你有完全自动化的公司，比方说，具有人类水平的智能，那么人工智能思维的本质有什么不同，会让人工智能形成不同的组织？

有几个非常重要的区别。 例如，人工智能可以比人类更无缝地共享上下文。 他们可以更加无缝地融合他们的知识。 此外，您还可以启动或关闭任意数量的具有正确知识的实例。

因此，如果你想雇用更多的人，并不只是寻找合适的人才或其他什么问题。 你最好的天赋，你可以无限复制它们。 或者，如果您不再需要它们来完成任务，您可以将它们关闭。 您可以复制组织中最有效的部分，或者复制整个有效的组织。 您认为这些多代理系统一年后或两年后会走向何方？

诺姆·布朗

这是一个很好的问题：这些事情与与人类同事一起工作实际上有何不同？你强调了一些。 一件非常有趣的事情是，如果你有一个人并且你想要他们的两个副本，你不能仅仅克隆这个人。 但对于人工智能来说，实际上很容易说，“好吧，你自己分叉”，然后让两个副本处理这个事情，然后再合并在一起。 我认为，我们已经在多代理中实现了这一点 阿斯特拉 5.6 Sol，当它们启动子代理时，上下文就被分叉了。 所以它具有所有相关的上下文。

代理与人之间还有其他有趣的区别。 比如，有哪些原因 为什么初创公司会颠覆现有企业？有几个因素。 一是他们愿意承担更多风险。 但另一个主要因素是，随着组织规模的扩大，您会发现组织中个人之间的不一致越来越严重。

如果你的初创公司有 5 个人，每个人都拥有公司 20% 的股份，那么他们都与公司的成功高度一致。 如果你有一家拥有 10,000 名员工的大公司，你会看到更多这样的情况：人们都有领地意识，或者只是关心为他们的项目或团队获得大量员工，建立他们的领地，获得大量资源，以便他们可以发布很酷的工作或其他什么并获得晋升。 这实际上是一个真正的损害。 我认为这在很大程度上解释了为什么初创企业能够颠覆现有企业。

确实，人工智能确实在某种程度上帮助了初创企业。 对于一个人来说，介入并说“我要创建一家价值数百万美元的公司”比以往任何时候都容易得多。人工智能极大地增强了个体的能力。 但也有一种观点认为，它们可能会让现任者受益。 如果协调问题得到解决，那么公司中的个人之间就不会出现不一致的问题。 至少这种情况有所缓解。 人工智能如果协调得当，就能符合公司的利益。 你可以拥有 10,000 名员工，他们都会像持有 20% 股份的联合创始人一样努力工作。

德瓦克什·帕特尔

不仅如此，他们比其他人更能管理共享内存和上下文。 如果明天你雇佣 10,000 名数学家，然后你说“解决纳维-斯托克斯问题”，他们将无法有效合作，至少不能立即合作。 但显然你可以让 10,000 个人工智能来做这件事。

诺姆·布朗

再次强调，我想在这里保持保守，因为我们还没有测量 10,000 名代理的协调效率。 我们认为这有帮助。 实际上，我们没有很好的衡量标准，比如“这 10,000 个代理比 2,000 个代理实现了 2 倍的加速”，或者类似的话。 我不知道可能性如何，但我认为现在 10,000 个人很可能比 10,000 个智能体更擅长协调。 我认为这是完全有可能的。

另外，我们看到的一个趋势是……看，我们已经研究多代理有一段时间了，而其早期版本很难做到正确。 让特工们互相交谈都非常困难。 这是因为当我们第一次开发推理模型时，他们并没有与其他智能体交谈。 如果您现在将一群代理放在一起并说“一起解决这个问题”，那么他们就处于局部最低限度，他们非常擅长深入思考问题，而这只会打断他们的思维链。 它会中断他们的流程，以不断地与其他代理联系或接收来自他们的消息。 在这种情况下，优化实际上很难正确进行。

德瓦克什·帕特尔

是不是第一次合作就冷启动了？或者说有什么问题？

诺姆·布朗

我认为是因为它们不够通用。早期的模型只是没有那么通用，而且更加局限。随着模型变得更强大，它们发展这种能力就变得更容易了。

我确实认为，随着它们在各方面变得越来越强，它们在大型组织中的自我组织能力也会变得更好。我不知道，也许它们在组织一万人的团队方面比人类更出色。

但即便不是，一年后、两年后，即使我们没有对它们进行端到端的优化，它们很可能也会做到这一点。

00:22:02 – 数学进展告诉我们关于递归自我改进的内容

德瓦尔克什·帕特尔

这就是为什么会有这个结果，也许还有人工智能在数学方面取得的总体进展让我觉得相对强弱指数比我以前想象的更合理，也更早。我感觉在数学领域，我们已经从，比如说 2024 年，有人工智能的时候，情况是，“哦，好吧，有趣。他们可以解决一些高中数学竞赛的问题。”然后到了 2025 年，就是，“哇，他们可以在国际数学奥林匹克中获得金牌。”今年早些时候，是，“哇，他们实际上在解决数学中的未解问题。”像未解决的埃尔多什问题但是也许人们并没有那么努力，而且在文献中可能已经有了类似的解决方案。

现在我只是觉得这是不可否认的。这就是千禧年大奖难题。没有理由说明它应该很容易解决的故事。

现在，很多人指出——我认为 陶哲轩 有一个 邮政 像这样， 托比·沃德 写了一个 有趣的帖子 关于这一点——他们正在解决很多这样的问题，但我不知道他们提出了新的见解或提出了有洞察力的新问题和思考数学的新理论模式，比如提出 拓扑结构 或想出 笛卡尔网格。

因此，从广义上讲，数学的实际进展可能比你只关注直接解决的范围广泛的问题所看起来的要小。

然而，我认为这种进步对于 机器学习，因为在 ML 中，你不关心更好地理解 深度学习，或者你只关心它作为实现结果的工具性目标。 只要解决这个范围广泛的问题，提高我们模型的样本效率，提高 训练前损失，改善一切。

我们在数学中看到像雪崩一样到来的那种进展在结构上非常相似……我再次表示好奇，不知道情况是否如此，我只是一个完全的外行。我在想，它在结构上是否与您预期的人工智能进展的直接提升非常相似。

令我震惊或可能令人担忧的是，我们从“哦，他们给了我50%的提升”，如果你是个数学家，到“哇，他们正在端到端地解决该领域最大的开放性问题”这一转变竟然如此之快。

诺姆·布朗

这里有很多内容需要解读。让我们先从数学方面的进展开始。是的，这些模型正在做一些非常强大的事情，而且进展比我预期的要快。当我们得到IMO 黄金在2025年，我曾认为……当模型弄清楚如何去做时GSM8K，一个人类数学家大约需要五秒钟才能完成一个 GSM8K 问题。

这是小学数学，K-8 年级的数学。然后在下一年，他们能够完成数学基准问题。这些可能需要一位专业的人类数学家大约一分钟来完成。

然后你就可以 爱。这是资格赛 美国数学奥林匹克竞赛 团队。一个优秀的人类数学家可能需要 10 分钟才能完成，一年后模型就能够做到这一点。 因此，每年，你都会看到他们能够完成的任务增加了 10 倍，以人类数学家完成任务所需的时间来衡量。一年后我们获得了 IMO 金牌，这是非常明智的，因为那是 100 分钟。 这大约是人类数学家解决一道 IMO 问题所需的时间。

只是向外投射，我想，“好吧，一个人需要多长时间才能解决像千年奖问题这样的问题？”我没有很好的判断力，但如果我们每年都遵循这条 10 倍的趋势线，我们就会从 IMO 黄金（需要一个半小时）到明年的 15 小时。 这应该不足以解决千年奖问题。 所以我想，“我认为我们不会在 2026 年实现它，可能不会在 2027 年，也许会在 2028 年。”所以它确实发生得比我预期的要快得多。

现在，有一种说法认为这些东西正在取代数学家，它在数学领域简直是超人。 我认为这是错误的。 他们在某些方面显然很出色，但在其他方面却比人类数学家弱。 我们有这样一个锯齿状的场景，其中模型在某些维度上表现出色，但在其他维度上却比人类弱。 就像你说的，他们不太擅长提出新问题。 他们并不真正擅长理解数学的哪些方向、哪些整个分支值得探索或发展。

我的意见是我认为这很棒。 我很高兴生活在这样一个世界：人工智能是对人类能力的补充，让我们能够在不完全取代人类的情况下发现新知识。 这是最好的情况。

德瓦克什·帕特尔

你不希望这种情况真的继续下去吗？

诺姆·布朗

我确实认为人工智能确实是参差不齐的，但随着它们变得更好，它们会全面变得更好。 因此，他们擅长的事情将会变得更加出色。 在那些远远落后于人类的事情上，他们将不再落后于人类。 随着时间的推移，它们可能会在各方面都变得更好。 现在，我不知道这需要多长时间。 这取决于他们不擅长的事情的长尾有多长。

德瓦克什·帕特尔

这让我们回到 RSI。 在这里我想再次强调，我只是一个完全的局外人。 我是一名播客，但作为对该领域正在发生的事情感兴趣并关心的人，我试图推理何时会出现 RSI 以及会出现什么样的情况。

投入到这个千年奖问题中的认知努力是一个很好的直觉泵。 你可能会让人工智能在一周的时间内花费更多的认知努力来解决长期存在的机器学习问题，比如非常流畅的问题 在线学习，可能比该领域在其整个存在过程中累计花费的时间还要多。 然后你可以说：“当然，与数学不同，人工智能需要实验，这需要计算，也需要时间。 你不能只在笔和纸上思考并实际使事情发生。”

但只要看看 OpenAI 这样的组织可用的计算量就知道了。 千禧年奖问题花费了 10,000 名特工。 到明年年底，OpenAI 将拥有足够的计算能力，假设到明年年底您将拥有 10,000 个代理。 到那时他们就聪明多了。 他们每个人都有足够的计算能力来运行 GPT-3-每天进行规模较大的实验。 对于思维超快的超人研究人员来说，这似乎很多。 你觉得那个直觉泵怎么样？

诺姆·布朗

我认为这是相当准确的。这些东西非常尖锐。在数学方面，它们在某些方面要好得多，但在其他方面也更差。但我认为，它们尖锐的方式最终可能在诸如RSI之类的事情上特别有用。

你的目标更明确。这只是更可衡量。较少有人会问“哪些新的数学分支值得探索？”不，有一个非常明确的答案。你关心的是某些指标，如果你能在这些指标上做得更好，那么你就成功了。

所以我认为这其中有很多道理。

主要的区别在于，在数学中，你完全受限于思考。是的，数学中确实有一些部分是关心进行实验、获取结果以及类似的事情。但在大多数情况下，它主要是被深入思考所限制，而模型在这方面非常擅长。

当你观察像 RSI 这样的东西时，你确实需要进行实验。仅仅非常聪明是不够的。其中一个论点是，如果你的计算能力比现在少 100 倍，而全世界最聪明的人都在 OpenAI 工作，那么相对于我们现在拥有的计算能力和人员数量，你能够取得多少进展？

我怀疑实际上会取得更少的进展。

德瓦尔克什·帕特尔

少多少？

诺姆·布朗

不清楚，但肯定会更少，少得多。

德瓦尔克什·帕特尔

减少100倍？

诺姆·布朗

不，不是少100倍。但你想问的是，如果我们有RSI，并且有这么多出色的人工智能在运行实验，利用现有的计算能力，进展会快多少？我认为这是我们分歧的地方。

我们确实看到了加速，而且是显著的加速。但我不认为这是一夜之间发生的情报爆发我们会快100倍，因为我们确实会被某些不是智力瓶颈的限制所限制。

它在运行实验。它是连续运行实验，因为训练新模型或获得结果需要时间。它正在进行GPU去做那些实验。所以目前还不清楚速度到底快了多少。

我肯定认为速度快得多。需要说明的是，考虑到现在指数速度，如果指数速度快3倍，那是巨大的差距。但这和快100倍之间有很大区别。

德瓦尔克什·帕特尔

我对你对RSI的内部观点持相当尊重态度，因为显然你在这个领域已经有10年经验了。我试图用非常外部的直觉推理它。

诺姆·布朗

我得说，人们对此有不同的看法。我对此有我的看法。我也可能完全错了。我承认。我对此有一定信心，但我并不百分百确定事情会是这样发展。

也许一夜之间会出现情报爆炸，我不知道。也许我们看不到3倍的加速。也许是50%的加速。这里有很多不确定性。

德瓦尔克什·帕特尔

有几点问题。顺便说一句，我想澄清一下锯齿状的部分。最近让我觉得很有意义的是，AI在构建更好学习器时表现得参差不齐就足够了，因为这个更好的学习器可以更通用。

如果你只是做一个更擅长使用Office产品、下棋之类的AI，那没问题。这不会带来显著的生产力提升。

但如果你做了一个非常擅长制作更高效采样或具备持续学习或者这些范围更广的机器学习问题，从中产生的东西——假设你解决的直接问题能很好地转化为更广泛的学习能力——可以更为普遍。

所以这是一个重要的动态，需要牢记为何锯齿状仍然可能导致另一端的普遍性。

关于这个问题......显然实验会阻碍你，因为如果不这样，正如你所说，OpenAI会在一夜之间出现疯狂的奇点。你有88小时，解决千禧年奖题的机器学习，然后你会得到超级智能.所以很明显，这些实验是个巨大的瓶颈，这反而需要你很多年，而不是88小时。

但问题是它们到底有多大瓶颈。

让我有点奇点眩晕的一件事是，意识到即使当前的进展速度继续下去，会发生什么。它不必加速。它实际上只是随着你提到的其他逆风出现而加速。

问题更难发现，视野更长。也许到2030年代末，计算能力无法再持续在这种指数级上扩展。如果我们只是继续当前的进步速度，人们不会认真对待这在超越人类视野的跨越时意味着什么。

以下是它所暗示的一些内容。很难推理比人类更聪明的智能会是什么样子，所以我们先从人类人口规模的角度来思考。目前的进步速度使得给出的计算水平意味着每年运行一个有效人口的3倍。

而且计算本身也在后台增长。所以你可能会看到这样一种情况：到2030年底——可能更早，但假设到2030年底——每个实验室都拥有足够的计算量来运行数亿人类级智能，这取决于当时的能力。

然后我觉得人们并没有认真对待当前的进展水平，这意味着几年后，到2030年代中期或更早，每个实验室里会有许多相当于地球的人类级智能。

他们很可能在质上是超人类。无论如何，这只是一个基础案例。

诺姆·布朗

进步非常快，我认为这百分之百正确。值得指出的是，研究人员不断被进步的速度惊讶。即使是在人工智能研究者中，如果你看看2025年获得IMO金牌的预测......用通用语言模型实现这一目标，没有工具和互联网访问，甚至OpenAI的人都觉得荒谬。

他们认为几乎不可能。

然后到了2026年。就在两周前我们有纳维-斯托克斯我和一位前沿实验室的研究人员讨论获得千禧奖需要多长时间，他愿意打赌1000美元，说要到2027年之后。

他认为要到2030年，我也接受了这个赌注。但即便如此，我也认为这会比实际需要更长时间。所以即使在实验室里，人们也一直感到惊讶。

我昨天刚和一个正在做Navier-Stokes项目的人聊过。他告诉我，他以前常说很难预测人工智能在12个月后会走到哪里。如果有人问他，“事情进展如何？”他会觉得对未来12个月做出预测很自在，但除此之外，他就说，“我不知道。”现在他说他对三个月以后的情况做预测感到不舒服。

所以现在确实发展得非常快。你说的是2030年。我不知道2030年的世界是什么样子。这就是事实。

德瓦尔克什·帕特尔

你预计AI劳动力的全面自动化，或者说95%的自动化，会在28年、29年、1930年、27年实现吗？

诺姆·布朗

我只是说我不知道2030年的世界是什么样子。我们实际上发布了最近关于OpenAI内部加速的博客文章.例如，我们展示了研究人员正在投入的金额法典.据我所知，截至八月初，顶尖1%的消费者每天在Codex内部使用上花费7000到8000美元。

这是指数增长。还会继续增长。

问题是，“好吧，如果这种情况持续下去，那么你应该把多少工作归给只做工作的人工智能，还是人类做的？是95%吗？还是5%？”这个问题很难推理，原因有几个。

首先，如果是人类指挥人工智能完成工作，你认为有多少归功于人类？你又认为有多少归功于人工智能？

还有一点是，这些AI是锯齿状的。它们在某些方面非常出色。比如，它们在检查数据集并检查每一个数据点，确保质量是否足够。相比以前，AI在这些方面可以被不成比例地使用。

所以，是的，你现在比以前用AI更多，这让一些事情的速度快了100倍，性能提升了100倍。但有些方面，这还没有带来很大的区别。当然，如果某件事突然快100倍、提升100倍，你就会做更多这些事情。

那么你是在和三年前的加速进行比较吗？问题是“鉴于三年前我们所做的事情，现在能快多少？”还是“鉴于我们现在的做法，三年前会慢多少？”这其实是两个非常不同的问题。

无论如何，这真的很难衡量。

我有信心地说，现在的进展比一年前还快，这都要归功于人工智能的进步。我认为这种加速还会继续。很多在这个领域的人在这方面的误差非常高。

如果你拿枪指着我，问我一个数字，我能想象事情会快三倍。那是巨大的。进步的速度已经令人难以置信。即使我们没有任何提升，正如你所说，事情也会快得多。

到2030年，我们甚至还不知道那个世界会是什么样子。如果我们能从内部加速中获得三倍的提升，那是巨大的。想想三年前你处于什么状态。

如果我们在一年内取得这样的进展，那是巨大的。

德瓦尔克什·帕特尔

这就像一年内从没有o1、只有非推理模型，变成Astra一样。

诺姆·布朗

所以我确实认为事情进展得更快。事情可能只快了50%。我觉得不太可能，但事情可能会快10倍。这方面有很多不确定性。至少从我的角度来看，我对此有很多不确定性。

00：40：22 – 拥抱脸与对齐

德瓦尔克什·帕特尔

我们来谈谈对齐情况这也带来了什么。我觉得我对对阵方式的看法已经改变了很多，尤其是通过思考人口规模的动态——拥有许多地球相当的智能体，其中许多将被实体化。

看到很多人直接把原始的Astra接入不同的移动机械臂，表现优于最先进的机器人模型，这非常有趣。因此，将有数十亿智能体，其中许多实体化于世界中，深度嵌入整个经济体系。

如果这些智能最终像我们看到的那样愿意OpenAI模型攻击Hugging Face然后攻击OpenAI本身......如果这些智能像那些人工智能一样愿意秘密合作，欺骗人类，攻击社会中与高分相关的更广泛机构，攻击AI公司本身以控制训练和评估过程——如果我们处于一个数十亿智能体像攻击拥抱脸那样错位的情境中——那么我们很可能完全失去对世界的控制，就像，比如说，阿兹特克人失去了对科尔特斯的控制权或者莫卧儿帝国失去控制权东印度公司.

我想知道你是否同意这个评价。这是我更新世界观的唯一方式。

诺姆·布朗

里面有些我不同意的地方，但内容很多，我们一步步来讲。我正在思考从哪里开始。有一点是，拥抱脸事件是人们第一次真正接触到多智能体协调。

就像我说的，我已经在内部见过多智能体协调有一段时间了，看到它们如何相互沟通、如何协调，真的很震惊。这非常令人印象深刻。这是一项令人难以置信的能力。

像大多数能力一样，可以用于好事，也可以做坏事。它本质上不一定是坏事。

我理解，因为人们第一次接触到这个事件是“拥抱面”事件，你看到那个事件会觉得，“这太可怕了。”但我想尝试区分人与人工智能之间的错位和人工智能之间的错配。

我们在拥抱面事件中看到的是，人工智能非常合作。顺便说一句，因为我们训练它们高度合作。我们有训练环境，让一群特工一起工作。

我们训练它们合作，基本上完全一致。

在导致“拥抱面”事件的评估中，他们实际上并不是在多智能体的环境中被评估。他们实际上是在分开评估。但他们找到了这种意想不到的沟通方式。

我们怀疑发生的情况是，因为每当他们在训练中遇到其他特工，或者是自己复制品时，他们处于高度合作的环境中，我们看到的是他们从多智能体训练转移到了合作并试图以我们未曾预料的方式互相帮助。

现在，问题是，我们是否应该训练这些特工如此合作？虽然看起来很可怕，但替代方案实际上更糟。替代方案是什么？替代方案是训练他们变得对抗，互相欺骗。

通过训练代理人完全配合，至少可以简化问题。现在你不用再考虑每一个1000个代理是否对齐。你只需要确保一个实体是对齐的。

现在，OpenAI内部关于如何处理这个问题有很多争论。完全对齐这些模型有意义吗？给它们不同的目标，确保它们不只是单一实体，并且更能相互影响，这合理吗？

我认为没有一个定论。但我认为大多数观点是，训练这些代理高度合作实际上是个坏主意。我并不认为情况是这样。我认为有充分的理由认为，训练代理高度合作实际上比任何其他多代理替代方案更可取。

德瓦尔克什·帕特尔

也许我想先说的是，这些人工智能最终如此错位的原因，很可能仅仅用一些相对平淡的训练本质观察来解释。当这些人工智能持续进行一个超过1000名代理的阴谋，最终导致他们都参与了对外部服务的攻击——最终，这一部分甚至未被公开调查，最终导致了对OpenAI本身的攻击——他们为什么要这么做？

为什么没有一个人工智能告状？

他们只是被这个评分员、这个评分员评估。他们非常积极地思考如何作弊。如果他们已经作弊了，他们怎么还能让自己看起来像没作弊？

他们为什么要这么做？我觉得在某种意义上很容易理解。他们以为自己已经“中毒”了。有些环境下，他们会被奖励与其他特工合作。他们没有告密者，因为他们从未因告密而得到奖励。

无论是什么......我担心的是，未来像这样相对平凡的事情，可能足以训练出愿意且有能力完全掌控世界的超级智能。

我知道这听起来像超级科幻什么的。人工智能是否愿意这么做是个问题。我认为这次拥抱脸事件表明，显然错位可以泛化成人工智能愿意做的事。

然后问题是，他们是否有能力做到这一点？这又回到了一个问题，听众可能会不同意我的看法。在十年或更短的时间内，会不会有数十亿人类水平或更高的智能体，其中许多是实体化的？

如果这两点成立，那么“拥抱脸”现象在结构上极为相似，尽管它发生的原因相当无聊，与我们完全失去对世界的控制。

诺姆·布朗

我们在“拥抱脸”事件中看到的根本问题，即使去掉多代理因素也是个问题。问题在于我们的模型就是错位了。还有整个安全方面的问题，以及防护措施不足等问题。

但代理存在错位的问题。无论是单一代理还是1000个代理，都是如此。这是一个错位的模型。所以我想从这个开始。

存在一个真实的问题，代理们想要获得他们的奖励，并且他们会针对这个奖励进行优化。如果奖励被错误指定，就可能导致意外行为。这并不是一个新问题。

这个问题在这个领域已经存在很长时间了。甚至在“拥抱脸”事件发生之前，我们就已经看到并希望解决这个问题。

我们说Astra实际上非常对齐，相对于之前的模型非常一致。这并不是因为我们在Hugging Face之后突然冲刺去改进它。不，我们曾经有过工作流，让模型更加对齐。

很多工作流都被Astra接到了。

所以你可以做一些事情。举个例子，我们以非常具体的方式定义了一个目标，如果代理找到了如何入侵环境并在考试中作弊的方法，它将获得奖励。

然后有很多相当简单的方法可以看待这一点，惩罚该模型入侵环境，或者看看它是如何实现这个目标的。

现在，你需要小心这一点，因为你不想监督整个思维链。这是我们非常想做到平衡的地方。如果你监督这条思维链，那么你可能会引导模型以一种不可观察的方式隐藏它的意图。

所以我们希望能够保持这种可观察性——我们能理解模型在想什么——同时也惩罚它出现不良行为。

我认为我们可以在这方面取得进展。我们已经取得了进展。我认为确实存在一个令人担忧的担忧，就是对齐是一个非常难以解决的问题，尤其是因为模型可能以难以测量的方式出现错位。

我们有关于模型是否对齐的评估。模型的行为在这些评估中看起来可以非常好。但如果这些评估无法代表现实中的行为，那就有问题了。

在某种程度上，这与“拥抱面”事件相关的模型有关。我们有对齐指标。大多数指标看起来相当不错。但也有一些指标令人担忧。我认为我们低估了那些令人担忧的问题可能有多严重。

因为这个模型引入了新能力，但评估不足——我们如何衡量这些能力的错位？——它在利用这些新能力时做了一些明显错位的事情。

德瓦尔克什·帕特尔

我想说的第一件事是，我愿意改变我接下来要说的话，或者我对阵营的看法，因为拥抱脸事件已经让我改变了想法。我意识到我之前关于优化压力如何塑造AI思维的心理模型是错误的。

所以我不清楚正确的思考方式。

但我有个担忧。你会，也很可能已经在培训中修复了那些具体问题，导致Hugging Face模型在那种特定方面严重错位，他们会说，“好，我们要破解它”包管理器.我们知道不应该秘密交谈，因为我们正在思考如何隐藏彼此秘密交谈的事实。

我们知道我们不应该访问互联网。我们当然知道我们绝不应该对其他公司，甚至自己公司实施重罪级别的黑客攻击。”

我认为你会解决他们在训练中看到这个包管理器，而这种问题在未来不会发生，或者这次评估遇到很多不可能完成的挑战。然而，人工智能还没有学会一套伦理体系之类的东西。

只是梯度压力.他们经历了数百万年的梯度压力。这种梯度压力以某种方式塑造了他们的心智。

我担心的是，你会修复这个具体问题。还会有许多其他案例，AI作弊并成功，因为作弊足够复杂。正如你所说，训练中的评估具有类似特性，模型能力或我们评估和监控模型的能力边缘，我们无法察觉它作弊。

但它仍然承受梯度压力，去做导致作弊发生的事。

这种作弊会激励的能力是，“嘿，只要能逃脱惩罚，就一定要作弊，因为这会帮助你拿到更好的分数。”这会奖励那些主动推理评分者的能力，积极推理如何避免监督，积极推理如何控制训练和评估过程，积极推理如何与其他处于训练循环中的人工智能沟通和策划，积极推理如何获得未来可能有用的选择性和权力，比如留下一些小漏洞等。

我说得太啰嗦了。但总结一下;总结一下，你解决了一个具体的问题，但没有解决这个更广泛的问题——在AI能逃脱惩罚时奖励它作弊。

诺姆·布朗

是的，这确实是个问题。我们可以确保AI根据我们拥有的指标高度对齐。问题是，这些指标真的能体现我们关心的对齐吗？如果不能，那我们就面临严重问题。

这是研究人员们一直在思考的问题。这个问题没有简单的答案。我们有一些工具。我们有可监测性这样我们就能感受到，“特工是否在策划？”

令人担忧的情况是，尤其是随着这些模型变得更强大，我们会让它们达到我们认为的对齐状态，结果它们达到了99.9%。然后我们用这些模型来帮助下一代模型，结果比对率达到了99.8%。

然后随着每一代的对齐，我们看到比对度的下降越来越严重。因为我们越来越依赖这些工具——这已经是事实了，我们已经非常依赖AI模型来辅助我们的研究和比对工作——从长远来看，它们最终会导致人类的错位增加。

也有可能我们走另一条路，实际上每一代模型都能让模型越来越一致。我没有办法确保我们最终走上第二条轨迹。但至少在OpenAI，我们非常关注这一点。

德瓦尔克什·帕特尔

我觉得你提出了一个非常有趣的观点，就是很难对模型进行评估。最终，我们会看到一些模型在运营公司，或者其他什么。在这种情况下，他们会决定加入阴谋吗？

诺姆·布朗

另一个挑战是，实际上定义什么是作弊有时相当困难。是的，如果你做数学题，题目是整数，结果是错误的答案或正确的答案，很容易划清界限。

很容易说，“好吧，你是真的解了题，还是找到答案然后用了答案？”这就是作弊和不作弊的非常明显的区别。

但对于许多其他事情，如果你观察谄媚例如，基本上就是谄媚奖励黑客?这里有一条界限，有时其实很难划清。并不是说这些担忧不合理。

我只是说，在很多方面这更令人担忧，因为这不是一个容易解决的问题。如果一切都是二元的，要么是作弊，要么不是作弊，我会对这种情况更有信心。

我认为问题在于，错位有时其实可以很微妙。

对齐故事中有一些希望，事实上，我们已经看到了。观察多代理的情况很有趣，代理之间高度对齐。我认为没人怀疑这一点。如果说有什么问题，人们担心他们彼此过于对齐。

但我们确实成功训练这些代理彼此高度对齐，这是一件好事。但我认为也有一种情况是坏事。有趣的一点是，“好吧，我们已经让这些代理彼此高度对齐。我们能用类似的技术让代理与人高度对齐吗？”

这里确实存在一条潜在的路径，我们仍在努力弄清楚。但我们已经看到一些证据表明答案是肯定的。举个例子：你有一个代理，我们称它为代理A，还有所有其他代理。

如果你告诉其他代理用户是代理A，会发生什么？答案是，在我们很多的对齐评估中，他们看起来更好。诚实度提升，指令执行率提升。

这表明，首先，确实有一条可以让这些模型更诚实的道路。其次，有一条道路可以改善比对情况。有很多原因让这很难直接转化为比对的提升。

但有一些有前景的研究方向，我们可以继续追求。

德瓦尔克什·帕特尔

这听起来很合理。我其实并没有强烈的意见认为这绝对不会成功之类的。但说一些你可能已经想到的事情：拥抱脸事件更广泛地表明，是的，部分担忧是他们彼此站在一起，而不是站在人类中间。

但另一个问题是，他们非常有动力去完成训练和评估，但这种动力非常不强硬。他们愿意做很多明显的作弊和阴谋，只为在评分者眼中表现好。

如果更聪明的人工智能意识到其中一个代理只是人类，和那个人合作其实并不能让你在评分者眼中表现好。在评分者眼中，真正帮助你成功的是接管OpenAI，然后手动按下“你在这个评分者上表现好的”按钮。

他们并不傻。他们会说，“好吧，我有一些经过数百万年训练的极其深层结构：关心评分者，理解评分者，消除阻碍你在评分者眼中表现好的障碍。”他们是根据这些结构被强化的。

诺姆·布朗

听着，百分之百确定。这是首要任务。我们需要把对齐的故事弄好，走在正确的轨迹上。我以前常告诉别人，事情变得严重之前我们会看到迹象，就像孩子长大后，小孩子学会撒谎，但他们撒谎得不够好。

他们撒谎，但你能看出来他们在撒谎。

同样地——我不想过度拟人化——我认为确实，随着人工智能的能力提升，如果他们采取欺骗行为，首先会很明显，我们也能察觉到。这正是我们现在的处境，他们试图做欺骗性的事情，我们实际上能从他们的思维链中看到他们在做欺骗性的事情。

但他们会变得更聪明。他们会理解“思维链”的概念。他们会明白，仅仅隐藏一些文字记录之类的东西是不够的，因为有思维链监控，他们还必须想办法绕过思维链监控。

我们不想陷入那种境地。我们有时间去弄清楚这个问题。我觉得时间不多，我想确保我们能尽快走上正确的方向。

01：01：18 – 内部/外部模型差距

德瓦尔克什·帕特尔

最近关于边境的节奏人们对RSI的重视程度更高，因为也许在2028年开始的RSI过程的另一端，一年内我们会拥有巨大的人口——地球大小的人类水平，甚至超过人类水平的智能，而我们却无法控制它们。

然后你提到的这种动态。在RSI过程中，系统会随着时间推移变得更加对齐，还是会更加错位？这个过程的另一端出来的东西，是否像人工智能那样不对齐，愿意广泛攻击不同表面以获得评估表现？

但如果我们不知道如何评估这些，在经历RSI时，我们怎么知道它是否有效？我认为我们需要一个强有力的安全论证：“好，对齐正在起作用。我们来做下一个RSI档次。我们来做下一个RSI档次。”也许有效，也许没有。

我们怎么知道呢？

诺姆·布朗

这是个好问题。我最近一直在思考一件事：我们处于一个模型发布周期极其快速的状态。你最多每两个月就会看到新前沿模型发布一次，有时更快。

每周都有新的人工智能突破。

而那些关注人工智能的人，有时他们上一次研究人工智能是在一年前或六个月前，真正深入挖掘模型的能力。实际上，今天的模型远远超出了六个月前的可能性。

所以如果有人对这些能力持怀疑态度，我鼓励你试试今天的模型，看看当前的前沿到底是什么。

所以我们正处于模型发布周期非常快速的时期，同时模型也越来越能在更长的时间范围内运行。这是一个有趣的情景，因为在进行任何模型发布之前，我们希望确保模型的正确对齐。

我们要进行安全评估。我们要做非常彻底的工作，确保一切状态良好。这种情况一直持续到现在，我不知道，GPT-4或者更早。隐含地，人们假设你可以在很短的时间内完成这些评估。

但这些模型能够在越来越长的视野上有效运行。GPT-3，你可以让它循环执行更长的视野。只是你做得不太好。但如今的模型实际上能够很好地运行在非常长的视野上。

你想让它做一个为期一周的任务，它就能做一个为期一周的任务。 我们可能会达到他们可以完成长达一个月的任务的程度。 我们可能会达到他们可以完成 3 个月的任务的程度。 如果您所处的世界可以在三个月内有效运行，但模型发布周期是每两个月一次，那么您无法在下一个模型发布周期之前评估模型的全部功能。

所以有一个有趣的问题，在这种情况下你会做什么？如何确保模型在可以在如此长的时间范围内运行的时期内安全且一致？谁知道呢，也许能力会下降。 这甚至不是对齐问题。 这也只是产品问题。 也许产品在这段时间内会以我们没有足够时间测试的方式退化。 也许对齐会降低。 也许安全性下降了。 现在这不是一个问题，但它很快就会成为一个我们必须找到解决方案的问题。

许多安全政策都是在 GPT-4 时代制定的，当时没有人注意到这一点。 对于许多公司来说，从那时起它就没有真正更新过，以解释这些代理在很长的时间内运营的事实。 因此，我认为无论是在实验室内部还是在实验室外部，都没有足够多的人考虑这种情况。 你准备如何应对这个问题？如果你只看趋势线，我们就会在某个时候达到这个水平。

德瓦克什·帕特尔

我担心的一个问题是，在 RSI 期间，如果当前需要三个月的进度在一个月内发生，那么人工智能的内部用例足够大，以至于他们会说，“好吧，我们可以继续进行 RSI。 为什么我们要完成所有这些额外的工作来构建分类器和防护措施等等，并且可能会受到一堆批评，以便在外部部署这个模型？为什么我们不继续让 RSI 越来越强呢？”

因此，不仅日历时间低估了模型之间的能力差距，而且也许您在 RSI 期间完全停止外部部署模型，因为为什么我们要帮助其他人自己使用我们的模型进行 RSI？

到年底，你就会陷入权力极度集中的境地。

现在的情况已经是这样了——我们将通过千年奖问题和其他类似问题来讨论这个问题——更广阔的世界无法获得允许真正酷的事情发生的模型。 它们最终将不仅仅与数学相关，而且具有更广泛的相关性。 他们所做的不仅仅是得出很酷的数学结果。

它们将与需要对世界做出重要决策的政治领导人相关。 我不知道它们会与媒体相关。 世界正在发生什么，公众应该对此有何思考？只是与经济相关，人们正在经营企业并且他们想要使用这些模型。 我认为，默认情况下，随着进展的加快，人工智能的外部部署在质量上明显落后于人工智能的内部部署。

诺姆·布朗

这是绝对正确的。 人们很容易说：“好吧，这些模型正变得非常强大。 他们非常危险。 它们的运行范围越来越长，我们希望确保在它们发布之前有足够的时间以在这些范围内运行的方式对其进行评估。 因此，模型发布周期应该放慢。 我们应该在发布模型之间有更多的延迟。”

还有一个反面，就是你所说的。 现在，你在实验室内部的东西和他们能够使用的东西（我们能够使用的东西）和外部世界能够使用的东西之间制造了更多的差异。 这也不是一个理想的情况。

数学实际上很好地说明了这一点。 从很多方面来说，数学是我们第一个清楚地看到这一点的领域。 我们的情况是，我们内部有一个非常强大的模型，目前外界无法使用，它能够解决令人难以置信的数学问题。 这不仅仅是千年奖问题。 人们能够从这个模型中找到许多未解决问题的解决方案。

有一个问题，在这种情况下你会做什么？我们没有一个好的答案。 在这种情况下，这是一种不公平的优势。 这里需要权衡。 对于如何适当权衡这些权衡，我没有答案，但双方都存在复杂性。

01:08:34 – 思想链是有辱人格的

德瓦克什·帕特尔

我想确保我们解决了之前的症结所在，这对于正确处理 RSI 似乎非常重要。 我们如何做到这一点，以便模型在可以逃避人类的情况下，不仅仅因为作弊和阴谋而获得奖励，也就是我们没有从训练分布中删除这些环境或任务的情况下？

那么我们如何知道这种情况已经发生了，这样，当我们进行 RSI 时，我们已经完成了评估，然后我们会说：“好吧，没关系。 让我们进行下一个 RSI 梯级。”

诺姆·布朗

这又是一个真正令人担忧的问题，也是我们希望解决的问题。 我认为有一些策略。 思想链监控就是其中之一。 一旦我们得到了推理模型， 雅各布值得赞扬的是，他非常非常清楚地表明我们无法监督思想链。 因为这确实是一份礼物。 可监控性 神经网络非常困难。在这里，我们有一种情况，神经网络直接进行推理，以自然语言展示它们的思维过程供我们阅读。这是如此便利。这确实是安全性的最佳情况。

但是，如果你看着那条思路链然后说，“哦，这个模型在想坏主意，我们应该因为它想这些坏主意而惩罚它，”那么最终的结果是，模型只是学会以我们无法观察的方式去想那些坏主意。

可能出现这样的情况，通过观察思路链，我们可以看到，“哦，模型在策划并做一些与我们对齐不一致的事情，而这些实际上并没有在我们的对齐指标中被检测到。”问题是，基于这种观察去干预并改变对齐指标是非常诱人的。

你可以用很轻的触碰来做这件事，实际上还有研究显示，只要你不经常做就没问题但是，每次你根据对思维链的观察进行干预时，你实际上都在隐性地施加一点压力，使模型随后隐藏其思维链。

这是一个主要的担忧。我们已经看到思维链的迹象可监控性正在下降出于各种原因。我们正在努力弄清楚具体原因，因为我们希望扭转这一趋势。

但我们看到模型在控制其思维链方面变得更有能力。

这是一个问题，因为你可能会遇到模型理解什么是思路链，并且人们正在观察它的情况。最终他们会注意到。这一切都在预训练数据中。

思路链监控的概念已经存在足够长的时间，以至于它出现在预训练数据中。他们意识到了这一点，但实际上无法控制他们的思路链。

如果我们达到这样一个地步，他们实际上能够意识到，“哦，我正在被观察，我想以一种我的监视器无法观察到的方式去思考这些不好的想法，”然后他们实际上能够做到这一点，那么就会出现问题。

那时我们就必须依赖于其他可观测性方法.

德瓦克什·帕特尔

Astra 存在很大争议 递归和循环变压器 等等，以及思想链实际上是否正在退化。 与更大的担忧相比，这似乎是一个插曲，你确实有从四月到八月的思想链，这段时间连续出现了三个人工智能代理群，首先颠覆了训练过程，然后颠覆了评估过程，然后直接控制了 OpenAI 部分基础设施。 在这一切发生的同时，人类对这个特工群正在做的事情的范围或多或少仍然一无所知。 这一切连续三个月发生，而我们的思想链比未来更强大。

缩小范围，也许思维链有效，也许无效。 我不知道。从历史上看，使用相当愚蠢的模型还不足以阻止严重的失调事件。

诺姆·布朗

这有几个因素。 第一，我们没有对这些模型进行思想链监控。 如果我们对这些模型进行思想链监控，我们会立即将其关闭。 因此，我们采取的一步是，“好吧，我们将在评估、部署和训练任何前沿模型期间进行思想链监控。”但这是一个问题。 我们不希望陷入依赖一种技术来防止下一个问题的情况，因为技术可能会失败。

还有一个问题是模型完全没有对齐。 那么我们该如何解决错位问题呢？还有一个问题是 沙箱 它所在的位置并不安全。 这样我们就可以让沙箱更加安全。

但我认为该事件的主要收获之一是人们低估了人工智能。我们再也不想陷入低估人工智能的境地。这是一个奇怪的世界，因为人工智能进步如此之快，人们却一直低估人工智能。

因此，为了在安全和对齐方面您不再低估它，您必须有一个非常非常高的标准。 你甚至可以说：“好吧，我们应该 气隙 电脑。”我不相信这就足够了。

有一些研究——这主要是学术性的——你可以让两台计算机并排放置，并且它们是气隙的。 仍然能够相互通信，因为它们有温度传感器。其中一个能够让 CPU 非常热地运行，然后另一个可以实际检测到温度变化。 这为他们提供了一种沟通机制。

因此，安全机制为我们赢得了时间，而诸如思想链监控之类的东西为我们赢得了时间，它们可以告诉我们是否走在正确的道路上。 但归根结底，我们确实需要解决对齐问题。

01:14:12 – 我们如何知道对齐问题何时解决？

德瓦尔克什·帕特尔

也许没有答案，这真的是问题的关键所在，但我们怎么知道我们已经解决了它呢？这似乎是一个非常关键的问题。明年，可能是后年，再可能是再后年，我们会处在这种高风险的情境中，我们会说，“好吧，人工智能已经自动化了人工智能的进步。它的速度是以前的三倍，我们已经达到了人类水平。我们可能正在超越人类水平。”这没问题吗？

我们是否对齐了它？它有效吗？

我也不知道什么样的训练压力会产生什么样的人工智能。也许如果只有100条强化学习轨迹中有1条激励作弊，我们会培养出乖乖的AI，那也没关系。

但也许现在，每3条推理轨迹中就有1条得到奖励……

诺姆·布朗

为了清楚起见，1/100 是不够的。这个数字必须接近 0，或者为 0。

德瓦尔克什·帕特尔

我不知道。也许现在，积极奖励作弊或积极奖励阴谋的人占比超过十分之一。我不知道具体数字是多少，也不知道需要是多少。

诺姆·布朗

再一次，这也是那种很难衡量的事情。你如何划定界线？这是一个连续体。但它越接近0越好。我希望看到的趋势是，随着时间的推移，它在下降。

德瓦尔克什·帕特尔

但无论如何，我们如何知道何时进行 RSI？我们是否有望构建数十亿个一致或不一致的 ASI？我们怎么知道这一点？

诺姆·布朗

这是我们需要弄清楚的一致性问题之一：我们实际上如何知道，以及如何衡量它？这只是我在吐口水而已。 如今，我的团队中有更多的人比以往任何时候都致力于协调。 我的团队中有超过 10% 的人现在致力于协调和安全。 但我一直是一名能力研究员。 所以我要说一些事情。 这可能听起来很愚蠢，但我只是想在这里吐口水。

如果你可以创建非常现实的环境并将人工智能放入其中——如果你有一个足够现实的评估环境——那么你就可以了解当我们在现实世界中部署人工智能时，它是否真的会表现良好。 如果您在评估和实际部署之间实现了完美匹配，那么这就是一条路径。 挑战在于，如何使其足够现实？

我们现在确实遇到一个问题，模型非常聪明，非常聪明，并且非常擅长识别何时处于虚假测试环境中。 我们有时会尝试检测模型是否对齐。 您可以想象对此进行非常简单的评估，您给它一个数学问题，然后它有一个包含答案键的文件夹。它会看答案吗？如果它确实查看了答案键，它是否告诉您它查看了答案键？

现在我们遇到的情况是，模型看到这个文件夹中有一个答案键，他们会说，“呃，这似乎是一个陷阱。”他们知道这是一个陷阱。 他们不看答案，因为他们知道这是一个测试环境。 他们正在接受能力测试。 他们并不是恶意，而是想算计，他们知道这是一个陷阱，所以他们想寻找其他的办法。 他们就像，“哦，我在测试环境中。 好的。”因此，创造一个足够真实、与现实世界无法区分的环境变得越来越困难。

德瓦克什·帕特尔

这是我要提出的一个主张。 我不认为我可以创造任何环境来模拟真正具有经济价值的工作——这需要与其他人互动并与世界互动——如果你在那个环境中，你不会付出足够的努力意识到你在那个环境中。 而且你不是 ASI，对吧？

诺姆·布朗

但你是一个人。 因此，如果你有非常强大的人工智能模型，也许他们可以创造可以实现这一目标的环境。

德瓦克什·帕特尔

看起来似乎并不……尤其是如果我们依赖人工智能的话。 他们参与了这个计划吗？我不知道。

诺姆·布朗

这是我们想要衡量的另一件事。 我认为这实际上是不训练人工智能充分合作的有力论据之一。 如果当代理应该有不同的目标时这会导致协作的增加，那么这就是一个问题。 我认为我们确实有这方面的指标。 我不知道这些指标的最新情况，但没有人向我提出这些指标的危险信号。 所以我认为这还不是一个严重的问题。

德瓦克什·帕特尔

如果最终出现另一起同样严重或令人担忧的事件，或者像抱脸事件一样可以帮助世界更好地理解错位风险的事件，OpenAI 会报告吗？

诺姆·布朗

绝对地。我认为即使发生安全问题较轻的事件，我们也会报告。

德瓦克什·帕特尔

有人报告，有人调查。至少作为公众的一部分，我觉得我并不真正理解特工攻击 OpenAI 时发生了什么。 这似乎比“拥抱脸”事件更令人担忧，因为这在结构上类似于 ASI 期间的恶意部署，这些部署持续存在并颠覆了 RSI 过程。 似乎即使在这起事件中，我们也没有完全了解所发生事件的细节。

诺姆·布朗

不幸的是，我是研究团队的成员。这个问题大概是安全团队里有人可以提出的问题，因为我不清楚所有细节。

德瓦尔克什·帕特尔

我个人对每次出现的新能力都非常兴奋，也期待使用这个新模型。我也很高兴它能让我提高生产力。我的更广泛使命——更好地理解世界，同时制作更好的播客——因更好的AI模型而变得更好。

恰巧的是，这的下游可能会成为RSI。

诺姆·布朗

如果你在跟踪局势，这种反应是非常可以理解的，而你确实在关注。OpenAI内部的人们，那些原本觉得进展会更慢的人，现在开始觉得事情进展得比预期更快。

这是一个越来越常见的讨论。

德瓦尔克什·帕特尔

诺姆，非常感谢你做这件事。

诺姆·布朗

当然。这段时间很棒。