世界机械学 CEO Sonia Joseph 称可解释性是物理 AI 的关键

当前人工智能领域最棘手的两个问题，一是构建能够理解物理世界的模型——即所谓的世界模型；二是解析人工智能模型的内部运作机制——也就是通常所说的机制可解释性。

通常，这两个问题被视为相互独立：研究世界模型的学者往往并不关注其内部机理，而从事可解释性研究的学者则倾向于聚焦于那些驱动我们目前所用大多数AI工具的语言模型。

不过，一家新创公司World Mechanics的联合创始人兼首席执行官索尼娅·约瑟夫认为，世界模型与可解释性其实是同一枚硬币的两面。约瑟夫做客最新一期《AI深度解析》节目，阐释了这一关联，而这一关联或许正是让人工智能在医疗、制造等物理世界中发挥实效的关键。

（完整节目可在此观看。）

“要构建世界模型，就必须具备可解释性，”她说，“你必须审视它们的内部表征，并以此指导训练，以提升数据效率、性能，以及可靠性、物理安全性和安全性。”

例如，如果一个AI模型正在引导外科医生完成手术，“我怎么知道它给出的指示不是‘幻觉’呢？”约瑟夫问道。识别出该AI模型所学习的概念，有助于确保其决策并非基于“虚假线索”，比如外科医生口罩的颜色，或者他们是否佩戴戒指——而这类情况在现有的一些世界模型中确实存在。

”

我们还讨论了为什么约瑟夫不认为语言模型能为物理世界的AI研究带来突破，她与前同事扬·勒丘恩在哪些方面存在分歧，以及如何让AI系统不仅对学术界，也能对蓝领工人实现可解释性。

以下为本次对话的整理稿，已略作编辑以提升清晰度。

德鲁：欢迎回到《信息》的《AI深度解析》节目。在这档节目中，我们会深入探讨人工智能领域中最棘手的技术难题。我是主持人罗克特·德鲁。

今天的嘉宾是索尼娅·约瑟夫。索尼娅是World Mechanics的联合创始人兼首席执行官，这是一家致力于训练可解释的世界模型的初创公司。

也就是说，我们希望AI能够理解物理世界，同时也希望我们能够理解这些AI。在联合创办World Mechanics之前，索尼娅曾在Meta担任研究员，并领导了Meta的可解释性论坛。

感谢你做客本节目，索尼娅。

约瑟夫：非常感谢你，罗克特。我很高兴来到这里。

德鲁：我也是。很高兴你来了。我想我们大概是在三年前的一次晚宴上初次见面，那次晚宴由DeepMind的可解释性研究员尼尔·南达举办，地点在伯克利的一家尼泊尔餐馆。

之所以想起这件事，是因为每次和你聊天，我都会特别想念尼泊尔菜。

约瑟夫：真是个美好的联想。我现在还在回味那里的美食。

德鲁：我已经条件反射了。是啊，那次谈话很棒。不过现在我想我得在节目结束后去吃点饺子了。

约瑟夫：哦，好啊。你都让我饿了。

德鲁：我也很期待。

约瑟夫：我也是。太好了。

德鲁：很高兴你今天做客我们的节目，接下来我们要聊聊可解释性与世界模型之间的交叉点——这两个话题本身就十分引人入胜，而我们将聚焦于它们之间的交汇之处。

我想先从你发表的一篇文章谈起，你在文中提出，世界模型与可解释性是同一枚硬币的两面。我觉得这个说法颇具挑衅性。通常，当人们谈论模型可解释性的重要性时，更多是在讨论语言模型、聊天机器人以及基于语言的智能体；而谈到世界模型时，大家似乎又进入了另一个完全不同的范畴——指的是那些能够理解物理世界的模型，用于制造业或机器人技术。

但这两者之间往往缺乏对话。那么，你能解释一下为什么说它们是同一枚硬币的两面吗？

约瑟夫：好的，其实“世界模型”这个词如今已经变得相当模糊。东海岸对世界模型有一套定义，常用于纽约和蒙特利尔——我在那里待了过去五年。

而在西海岸，人们对它的理解可能更为常见。

在我看来，东海岸的定义中天然就包含了可解释性的要素。东海岸聚集了许多神经科学家，他们也十分关注内部表征的问题：神经网络究竟在表征什么？

这种表征是否与物理世界一一对应？这可以作为衡量真正物理推理或物理理解能力的一个指标。有时我会用“物理推理”来代替“世界模型”这一术语，以避免与西海岸的定义产生混淆。

而西海岸的定义往往侧重于两个方向之一：一是生成极为逼真的虚拟世界，这确实是个难题，也很有意思，但属于另一类问题；二是将模型嵌入机器人，让机器人能够在真实世界中自主导航。

而这些问题彼此密切相关。我认为，要实现另外两者的高效版本，就必须具备对内部表征的理解；但在西海岸，我实际上很少看到有人在世界模型的语境下讨论内部表征和可解释性。

正如你所说，这类讨论通常集中在语言领域。而我则认为，一个能够像第二种西海岸定义那样、甚至按照第一种定义那样，在物理上合理地构建并导航世界的智能体，必须具备对世界的理解，必须深入考察其内部表征。

我甚至会提出一个更强的主张——当然，许多神经科学家可能并不认同——即东海岸定义中的世界模型应当与物理世界之间存在一种功能上的同态关系。

德鲁：那是什么意思？

约瑟夫：就是在功能层面上，对物理世界进行一一映射，也就是说，比如在物理世界中，当我把球抛向空中再接住时，神经网络内部应当存在一种可解释、可读的内部表征，来追踪这一过程。

接下来我会提出一系列逐步增强的论断，我也能想象到，一些更偏研究导向的人可能会持不同意见。但根据我们迄今所见的证据，我认为事情正朝着这个方向发展：如果你要把球抛向空中再接住，那么在世界模型本身的核心内部，如果该模型足够精确、性能优异且数据效率高，就会有一个非常清晰的表征，准确描述球被抛起并接住的过程。

这也正是我认为世界模型需要可解释性的原因。我们必须审视其内部表征，并以此指导训练，以提升数据效率和性能，同时确保可靠性以及物理层面的安全与稳健性——这本身又是一个重要议题。

而我怀疑目前还没有人真正从这个角度去思考这个问题。

德鲁：那么，你所坚持的最强版本的主张是什么？

约瑟夫：“要构建世界模型就必须具备可解释性”是最强的主张；我进一步认为，要构建精确的世界模型、数据高效的世界模型以及可靠的世界模型，也都离不开可解释性。

德鲁：我明白了。在西海岸，当我们谈论世界模型时，往往指的是视频生成模型——它能够生成视频，而且这些视频可能是物理上真实的，或者至少在物理上是合理的。

另一种情况则是，我们希望拥有一种生成式模型，能够充当机器人的“大脑”，或者生成模拟环境来训练机器人。

你的意思是，东海岸的定义更多地受到神经科学历史的影响，对吗？

约瑟夫：完全正确。

德鲁：那么，对于那些从神经科学视角出发思考世界模型的人来说，东海岸意义上的“世界模型”究竟指什么？

约瑟夫：嗯，那意味着一个智能体——也可以把它看作大脑——或者说是一种基础模型，它对世界的理解已经达到了内部表征被解耦且具有因果性的程度。

举个例子，当一个球被抛向空中并落回地面时，该智能体、那个人或那个基础模型的内部应当存在一个与其它事物相分离的球的表征，而不是某种混杂的启发式规则、记忆或捷径——而据我判断，我们现有的大多数世界模型仍然带有这样的特征。

德鲁：你觉得人类的大脑是否也具备这种意义上的世界模型，即拥有针对不同物理概念的因子化表征或特定表征，还是说我们其实只是依赖于一套随任务变化而变化的松散启发式集合？

约瑟夫：这取决于具体任务。就大多数物理任务而言，我的回答是肯定的。不过我也得承认，人类往往是相当混杂的推理者。一旦涉及到刻板印象和偏见，那就说明我们的表征并非解耦且具因果性，而是高度相关的启发式规则。

因此，我认为超人级别的智能应当具备高度解耦的内部表征。

德鲁：假设我同意你的观点，即要成为一个优秀的世界模型，就必须在模型的“大脑”中拥有这些解耦的表征。那么，为什么找到它们如此重要？

为什么我们必须通过可解释性分析来确认这些表征确实存在于模型之中，或者确认我们已经将它们定位在正确的位置？

约瑟夫：原因有很多。首先，安全性和可靠性就是其中的重要考量。设想一下家中的某个机器人，我们或许希望验证它的基础模型——也就是它的“大脑”——对物理世界有着可靠的表征。

一个典型的例子是物体恒存性，比如这只水瓶。当我移开视线再转回来时，我希望水瓶的表征依然存在。我们希望通过测试来确认该基础模型或智能体具备对物理合理性的理解。

借助白盒分析，我们可以深入模型内部，查看是否存在与物理合理性相对应的特定表征。例如，可能存在一个流形或某种特征，专门对应物体恒存性；而对于物理世界的其他一些性质，则仅凭黑盒评估可能难以发现。

因此，结合白盒评估来确保相关信息确实存在——有时信息可能会短暂出现，随后在模型内部逐渐消失——确保这些信息始终在位，这一点至关重要。

我举的例子是关于我们家里的机器人，但手术机器人也有。我们希望确保这些模型是可靠的，并且要在网络的每个环节都探究我们关注的特性。

德鲁：所以当你说黑箱时，你指的是严格依赖输入和输出，观察模型的外部行为。当你说白箱时，你指的是解读内部结构，试图理解构成这些模型的底层计算过程。

是这样吗？

约瑟夫：完全正确。

德鲁：好的，评估是为什么有可解释性会非常好。基本上，我们可以评估并确保模型在正确的时间理解正确的内容，这意味着它不会采取任何不想要或不可预测的行为。

还有其他可解释性在这里非常重要的原因吗？

约瑟夫：是的，其中之一是数据效率。目前，这些模型的训练成本极高，我想到的一个比喻是，想象你在学校，明天有一场大考，你在临时抱佛脚，连续六个小时死记硬背。

当你真正去参加考试时，你可能表现还不错，但脑中的信息可能会有些混乱，可能会犯错，也可能无法真正理解发生了什么。我认为我们现在训练这些模型的方式，其实和这种情况有点类似。

相比之下，可解释性导向训练实际上是在不同时间点检查模型是否已经学习了某种行为，例如对象的恒久性，如果没有，则通过循环输入更多数据，鼓励在特定时间学习某些能力，从而消耗的量可能少几个数量级。

同样，还有一个概念：给定一个能力，哪些数据引发了该能力，以及它在权重中存储的位置，这些根本上是可解释性问题。

所以另一个类比是，你可以想象在乌托邦或反乌托邦，我们非常关心孩子的学习，也许我们可以在他们从教材学习时进行某种功能性磁力共振成像（fMRI），如果他们的神经相关性对应到理解的模式，那是好事。

如果不是，也许我们可以介入，告诉他们，嘿，这显然行不通。我们给孩子一本新教材，或者做点不同的事情。我认为可解释性导向的培训非常相似。

德鲁：是的，即使不做fMRI那么深入，也不干预——

约瑟夫：不想让它太科幻化。

德鲁：当然，但即便如此——你提到的区别，我觉得也很直观。我觉得人们明白，比如在大学课程中，有好老师和好教材，从基础学习一个学科，你从基础开始学习关键概念，然后再叠加新知识。

相比之下，这种学习模式中你只是偶尔遇到一些想法，它们都有些无关。你不知道它们之间的关系，然后自己发现，有时你会发现两个概念比你之前认为的更相关，但你一直把它们当作两个独立的启发式来处理。

你提到的这个区别感觉非常直观。我们可能需要以更全面的方式学习，确保正确的概念进入神经网络或模型的大脑。

约瑟夫：是的，绝对如此。我不确定你想深入探讨多少，但我也认为还有其他范式可以让这些模型通过设计来解释。这里我们将根据具体情况情况来分析。

那么我们回到自动驾驶汽车的例子。这里的策略网络中有些东西，你可能需要验证这个网络是否已经学习过。例如，它是否存在加速度、速度、质量的稳定表示？

这些是物理学的基本方面。有一个范式，你可以在模型中嵌入某些潜在变量，这些变量对应于你在物理世界中真正关心的内容，现在不再是随机探测模型，这在某种程度上是搜索问题，而是一个很大的潜在空间，你只是探测潜在空间，看看是否有你关心的某些属性，你知道该探测哪里。

所以我认为我们会看到这种现象的复兴。

听起来有点归纳偏见，在这个艰难的课程阶段这有点不流行，但我的回应是，首先，我认为有一种方法可以在无监督的方式中找到归纳偏见，这使它不像最初的范式那样手工制作;其次，鉴于目前成本高昂且某些环境数据稀缺，我们需要做更多此类工作。

德鲁：我想稍后详细阐述你说的“苦涩教训点”，但我想就自动驾驶问题反驳一下，我会说我们现在有自动驾驶汽车进入世界，我不认为它们必须依赖这些内置概念。

我认为它们更多是通过端到端的深度学习方式学习的。你怎么看？这有效吗？还会继续有效吗？

约瑟夫：我觉得这取决于你想要的开发周期有多快。

德鲁：好的。

约瑟夫：如果你想要一个非常漫长的开发周期，并且愿意花很长时间去验证这些东西，那么最终当然可以采用这些方法。但如果你想把开发成本降低一个数量级，这些技术就变得非常重要了。

而且我认为，现在很多自动驾驶公司都在招聘机制可解释性研究者，就是为了做这件事。

德鲁：是的。

约瑟夫：它总是还可以做得更好。

德鲁：没错。那我再确认一下，我是否正确理解了你关于“苦涩教训”的观点。“苦涩教训”是理查德·萨顿提出的一个理念：那些能够随着计算资源和时间而扩展的通用方法——比如学习和搜索——一次又一次地胜过我们在模型训练过程中刻意植入的先验偏置。

也就是说，我们常常会假设，一个在某项任务上表现良好的模型理应掌握某个概念，或者理应以某种方式对某个对象进行建模。然而，那些纯粹依靠投入更多计算资源、单纯通过学习来提升性能的通用方法，往往能取得更好的效果。

但在这里，你提出了一些概念是模型应当在内部加以表征的，比如速度、方向、质量等。你的意思是，你可以为这种做法辩护，认为它不仅能够经受住“苦涩教训”的考验，甚至还能与之相兼容。

约瑟夫：是的，我认为它与“苦涩教训”并不矛盾。我当然不是说“苦涩教训”错了。关键在于：你是想让模型训练十年，还是只训练十周？

德鲁：明白。

约瑟夫：仔细想想，我们的大脑本身就是一种经过进化优化的归纳偏置。有些归纳偏置对于环境中的导航任务极其有用。如果你能识别出这些归纳偏置，并将其固化到模型架构中，就能获得巨大的性能提升。

所以这还是要看具体任务。

另外，回到那种自上而下、手工设计的方法——即先确定系统关心什么——我觉得这也未必正确。我所设想的范式目前还很初步，但它类似于知识蒸馏，只不过是在可解释性的语境下。

想象一下，我们用传统意义上的“苦涩教训”方式训练一个庞大的无监督视频模型，然后把它的潜在空间视为一个“世界”，并借助强化学习在这个“世界”中寻找那些既可解释——也就是说，我们人类能够理解它们——又与输出存在因果关联的内部表征。

比如说，如果我们关心速度，就找到对应的速度表征；同时，这些表征在前向传播过程中确实会被调用，并在模型做出决策时发挥作用。

我们找出所有这样的变量，然后将它们作为归纳偏置，训练进第二个模型中；也许还会为那些仍然具有因果相关性但无法解释的信息保留一个误差项。

如此不断迭代下去。据我所知，目前还没有人这样做，但这确实是一种获得兼具高效率与数据高效性的内在可解释模型的途径。这些就是让我格外兴奋的技术。

我知道，硅谷的主流思路往往是尽可能多地融资、获取海量数据，追求所谓的“造王者”。这种方法或许可行，只是可能需要二十年。不过也确实有办法加速这一进程。

观察人类的演化历程，也能给我们带来不少启发。

德鲁：关于如何将这种方法与“苦涩教训”相协调，我还有一个疑问：也许你在第n代模型中发现了一个相当不错的概念，于是把它固化到第n+1代中。

但如果当初让第n+1代模型以更自由的方式进行训练，结果可能会更好。

举个更具体的例子：假设在第n代中，我们分别找到了线加速度和角加速度的概念。但如果直接让第n+1代模型使用更多的计算资源和数据进行训练，它或许能发现一个能够同时概括这两者的、更加稳健的概念。

那么，你是否会担心，这种干预反而限制了模型的潜力？对此你怎么看？

约瑟夫：这是个很好的问题，也很合理。关键在于你有多在意计算成本。我认为这是一种权衡。如果你拥有无限的资金和资源，那么单纯以无监督方式训练模型的范式或许更好。

但我认为这种情况并不现实。而且，看看语言模型领域就会发现，有些场景确实需要性能最强的模型，但也有很多时候并非如此。如果你是一家提供客户服务的公司，就不会部署性能最高的模型。

当然，也可能有例外，但很多应用场景更看重成本而非绝对性能；或者，你可能会用一个高性能模型来调控一些性能较低的子模型。

所以，我看到当前行业里有一种思维，认为终将出现一个“一统天下”的大模型——在语言领域某种程度上确实发生了。但我认为这种想法有点谬误，原因有二。

首先，在语言领域它也并未完全实现。这些模型还有其他用途，而评价标准也不止于性能——成本、数据效率，以及我所强调的可解释性，都是重要的考量维度。

尽管目前的语言模型尚未将这些因素充分内化。

其次，物理世界比语言模型所处的世界要丰富得多；语言模型只有一种模态，而且其大部分预训练数据都来自互联网。但在物理世界中，你能获取各种各样的传感器数据。

也许我稍微岔开一点话题，但我觉得“世界模型”这个术语也被误解了——在我看来，从技术角度最恰当的重新表述是：连续的传感器数据，而视频数据只是其中的一个子集。

除此之外，还有视觉数据、时间序列数据、声学数据，以及温度、压力、电压等数据，甚至还有用于优化工厂运行的数据。很多时候，那些可解释性技术同样适用于所有这些类型的数据。

所以，这并不仅仅关乎视频，而是整个传感器世界。

再打个比方：不妨想想动物王国。动物王国里充满了各种各样的专门智能——也就是不同的动物。动物之间固然存在一些共性和泛化能力，但某些动物拥有特定的传感器，能够感知环境中极为特定的方面。

因此我认为，随着物理人工智能的兴起，我们会看到一些全新的垂直领域涌现出来，而这些领域在真正发生之前很难被预先设想。

德鲁：你会把语言也归为那些物理模态之一吗，还是将其排除在外？

约瑟夫：这是个很有意思的问题。我会把它排除在外。

约瑟夫：我认为语言是一个特殊的情况。原因在于，由物理世界产生的物理数据是有明确的“真值”的。我们已经掌握了相当多的物理定律，已经有了一个确定的真值基准。

如果我把一个球抛出一条弧线，你可以非常精确地预测它会落在哪里、何时落地。但如果你让我开始说一句话，就很难确定地预测这句话最终会如何收尾。

而语言并不具备这种意义上的真值。猫的反义词是什么？是狗吗？国王的反义词是王后吗？也许吧，但物理世界确实存在数学意义上的对立关系——球要么向左，要么向右。

所以，我认为我们处于一个相当不同的范式之中。

此外，物理定律本身也具有相当的普适性，但物理学内部仍有一些子领域之间的差异——比如牛顿力学在多大程度上能推广到热力学？从某种意义上说，它们是不同抽象层次上的不同体系。

约瑟夫：不过，基础模型在这些不同领域之间究竟能在多大程度上实现泛化，目前仍是开放问题。但这与语言领域的研究属于不同的课题。

我一再看到，业内无论是研究人员、从事机制级可解释性研究的人，甚至是投资人，都试图将语言领域发生的事情套用到当前的场景中。

我认为两者会有相似之处，但绝不会完全相同。

德鲁：不过语言也是有规则的，对吧？不同语言都有语音方面的规则，规定哪些音素可以出现；还有音系规则，说明这些音素如何组合；形态规则则描述单词的构成方式；句法规则又规范句子的层级结构。

此外，语义和语用层面也有规则，规定对话中允许进行哪些互动、对话如何推进、以及发言的先后次序。所以，我们可以设想一个模型去学习这些规则，但您认为这些规则仍然不同于我们在物理世界中关注的内容，是这样吗？

约瑟夫：我很欣赏你的这一反驳。没错，语言确实有其内在结构。不过我想说的是，我们并没有像语言学家那样一套完备的理论体系。或许语言学家相当于语言领域的“物理学家”，但语言学本质上仍然不同于物理学，也不同于那种能够以极高精度计算事物最终状态的能力。

而且，语言的可能空间实在过于庞大，几乎呈爆炸式增长。所以我不认为这两者是一回事。尽管我也认同你的观点，即语言确实蕴含着丰富的结构；我甚至进一步认为，由于物理学拥有明确的真值基准，这使得它成为检验和解释模型的理想平台——因为你可以设定一个真值，并在模型内部强制执行这一真值。

德鲁：嗯，我明白你的意思。语言学家把这种现象称为语言的“生成性”。你可以把这些基本单位以无穷无尽的方式重新组合。如果我现在愿意，就能说出一句从未被任何人说过的话。

不过，在物理学中，类似的类比可能是混沌系统：一旦超过某个时间范围，就很难预测系统的最终状态会是什么。但这似乎并不会妨碍我们去尝试学习物理动力学规律的努力。

约瑟夫：我认为这是一个非常有趣且尚未解决的挑战：例如对于天气这样的混沌系统，我们究竟能在多大程度上进行预测？这个问题我没有答案。

我也不清楚基础模型在此方面的局限在哪里，但就牛顿动力学而言，我认为这应该是完全可以做到的。

德鲁：好的，那么对于诸如天气这样的混沌系统，我们是否事先就知道应该嵌入哪些正确的概念呢？对于牛顿力学，我们可能会希望模型具备质量、速度等表征，以及你刚才提到的那些物体——比如上下运动的球。

但如果我们要预测天气，我不知道我们是否能事先确定网络应当表征哪些概念。

约瑟夫：我特别喜欢这个问题。目前在这方面有一些研究，比如在谷歌DeepMind旗下的Polymathic公司——也就是雪莉·霍的公司——就有相关工作。

斯坦福大学还有一位叫西奥多·麦克米伦的研究员，此外也有其他研究人员。不过，这些刚刚起步的研究——今年才刚发表——真的非常有趣。

比如说，有些控制向量与台风相对应；通过操控模型的某些部分，甚至可以诱发涡旋现象。这太酷了。

德鲁：确实很强大。

约瑟夫：确实非常强大。本质上，你已经学会了一种科学模拟器，这简直不可思议。而且

我认为答案是肯定的：借助这些方法，我们能够发现一些基本表征——因为某个控制向量对应着我们可以理解的某种原始概念，并且在模型中具有因果关联性，这就让我相信，这样的基本表征是存在的。

我不认为它们是线性的方向，更可能是某种流形。不过这也正是一个开放的研究问题：这些内部表征的具体形态是什么？我们又该如何提取它们，并为天气领域构建一套既实用又有效的词汇体系？

还有一个我们尚未讨论的问题是：可解释性究竟要面向谁？我曾在学术界待过一段时间，我很热爱学术研究，也十分看重学术层面的可解释性。

但这种做法的一个潜在缺陷在于，你往往是在让系统对其他研究人员——通常是数学家——变得可解释，这固然很棒。而我之所以也关注商业场景下的可解释性，是因为当你把这类技术推向市场时，就必须让那些能够基于这些信息做出决策的人真正理解它。

所以，你是要把模型的可解释性面向气象领域的专家吗？我不是气象专家。那么，面向专家的可解释性与面向不具备该领域专业知识的人的可解释性，会不会有所不同？

因此，一个非常值得思考的问题是：你的应用场景究竟是什么？

德鲁：说得很对。对我来说，如果某个模型对你或者DeepMind的尼尔·南达来说是可解释的，那当然很酷；但我自己却从未觉得哪个模型真正“可解释”。

我想很多人都有同感。迄今为止，最能实现“民主化”的可解释性体现在哪些方面？你希望它朝哪个方向发展？

约瑟夫：所谓“民主化”，是指让更多人能够理解模型在做什么？

约瑟夫：最有可能的方式是将其解码为故事或自然语言——毕竟，如果你是英语使用者的话，英语是最通用的语言之一。也就是说，把它翻译成人类可读的语言。

当然，也可以解码成视频，或者图像。但我仍然认为，语言是最高效的沟通方式。从某种意义上讲，它就是最高效的沟通载体，这一点毋庸置疑。

如果能把神经网络的各个部分都解码出来，用一种符合因果逻辑的、真实可信的方式——也就是说，不是凭空捏造或胡编乱造——用英语或其他人类语言讲述它在做什么，那就再好不过了。

因为已有大量研究表明，模型的输出可能会偏离其内部的实际运作过程。因此，如果我们能获取到那种源自内部、具有因果关联的思维链路，我认为这才是最具“民主化”意义的可解释性形式。

德鲁：也就是说，我完全可以问我的聊天机器人：“你当时为什么那样回答我？你在想什么？”然后它就能如实回答我的问题。

约瑟夫：没错。这确实很难，是个棘手的问题，但至少会比单纯依赖它的输出更有帮助。

德鲁：我觉得这个思路很有吸引力。我们之前曾就机制可解释性做过一期节目，嘉宾是Goodfire公司的首席科学家汤姆·麦格拉斯。他对“什么样的可解释才算解决了问题”这一问题的回答是：模型能够写一篇学术论文，详细说明神经网络中的各个组成部分。

但这并不算真正的“民主化”，因为它可能只对汤姆·麦格拉斯这样的人有用，而对我就没啥意义了。

约瑟夫：没错，这对学术界来说确实很酷。

德鲁：那当然很好。

约瑟夫：我也很赞同，欢迎加入！

不过，我们最近做了一件很有意思的事：我们去和一些蓝领工人聊了聊，他们对人工智能一无所知，因为他们根本不需要懂——这本来就超出了他们的专业范畴，也不应该成为他们的负担。

他们常常说：“我们不敢把AI部署到自己的系统里，因为它给出的关于物理世界的信息，我们不知道到底是真是假，还是像聊天机器人那样在胡说八道，所以我们不敢据此采取行动。”

那么，有没有办法让我们知道它是如何得出那个结论的，并且能够信任它关于决策过程的描述呢？我认为，如果能让这些神经网络直接与我们对话——而且是与我们信任的人对话——由这个人一步步地梳理它的推理过程，让我们逐条理解并认可每一步的逻辑，那对现实世界将大有裨益。

德鲁：你能再举几个例子或应用场景吗？假如明天你就拥有了这样一个可解释的世界模型，你会拿它来做什么？它又能解锁哪些可能性？

约瑟夫：是的，在高责任风险领域，我认为拥有一个可解释的模型相当关键。比如手术机器人。我可以想象这样一种手术机器人：它可能是一个视频多模态大语言模型，或者整合了各种传感器数据，并将所有信息输入到一个作为决策主体的语言模型中，由该模型指导外科医生的操作。

假设它指示外科医生按照特定顺序采取某些动作。

我怎么知道这不是模型的“幻觉”？它为什么会这么说？我们能否通过其内部表征来验证，它做出的决策是基于实际操作，而不是那些所谓的虚假线索——比如外科医生口罩的颜色，或者他们手指上是否戴着戒指——而现有的世界模型往往会依赖这些虚假线索。

因此，我希望对其推理过程充满信心，甚至希望看到其内部的推理链条，就像我们可以把前向传播逐步转化为一份数学证明一样。当然，严格来说，我们未必能真的把它翻译成数学证明，因为那已经涉及形式化验证的范畴了。

毕竟，“这些都是复杂的随机系统”。但我认为，我们完全可以做得比现在更好。

我甚至认为，如果模型本身具有内在的可解释性，这会使得上述工作更加容易，因为我们能够清楚地知道在每个时刻网络的哪些部分被激活，也知道这些网络中存储了什么，因为我们就是以这种方式训练它的。

德鲁：没错。也就是说，我们或许无法百分之百地了解模型在任何时刻的具体运作，但至少我们知道其中一些关键部分确实存在。我们也知道它不会基于虚假线索作出判断，而这将有助于增强我们对模型决策的信心。

是的，手术乃至整个医疗领域都是很好的例子。您还觉得在哪些其他领域，这种做法会很有用，或者让您感到兴奋呢？

约瑟夫：是的，制造业也是如此。举个例子，当你往模具中浇注钢水时，如果有一个视频多模态大语言模型，或者基于传感器的多模态大语言模型——其实不一定是真正的多模态大语言模型，而更像是一个传感器语言模型，它将视频、温度、压力以及其他系统的各类数据整合起来。

然后这个视频与传感器融合的多模态大语言模型告诉你：“温度过高，放慢钢水的浇注速度。”

如果它判断错误，而你照做了，那就可能造成成百上千美元的损失，对吧？在这种情况下，问题更多在于经济成本，而非人身安全。

约瑟夫：而且我认为这是完全可行的，只是需要背后有一支协调一致的研究团队共同努力。此外还有加速开发周期、自动驾驶汽车，以及在将这些机器人部署到家庭之前增加一层责任机制等问题。

更广泛地说，围绕物理可解释性，乃至整个物理安全与人工智能安全的议题，目前仍处于相对薄弱的状态，但随着实体世界中的传统机构迫切希望推动落地应用，这一领域的价值将会日益凸显。

德鲁：为什么仅靠大语言模型不足以实现这一点？我的意思是，我们最近已经看到了一些演示，比如 OpenAI 的 Astra 模型，它能够控制机器人，在画布上绘制小幅场景，似乎对物理世界的理解越来越深入。

难道它最终不会达到这样的水平吗？

约瑟夫：是的，我会说不会。这可能有些争议。有些人认为，只要有语言就够了。我认为语言确实能让我们走得很远，我并不反对使用语言。

约瑟夫：我们确实需要大语言模型，它们至关重要，这一点毋庸置疑。但如果我们从语言的角度来思考，也许一个直观的例子是：我并没有为物理世界中的每件事都准备相应的词汇。

如果你学过艺术史——这听起来可能有点突兀，但后面会连上。如果你学过艺术史、绘画，或者上过美术院校，你会发现人们会为某些颜色发展出非常精确的术语。

艺术家往往能区分十种不同的蓝色。又比如，《穿普拉达的女王》里有个情节，女主角嘲笑她的雇主过于在意这些细微的差别。

实际上，我们的语言在某种程度上是为了交流而优化的，并不一定能捕捉到所有相关的必要信息。

因此，我认为绕过语言是非常必要的。你需要能够直接从传感器数据中学习；而如果你一开始就将其转换为语言，除非你的数据已经被标注得极其细致，否则很可能会丢失大量信息，从而导致诸多责任风险、效率低下，以及准确性不足。

所以，是的，我们确实看到了这些令人惊叹的结果，而且我认为未来还会继续出现更多。但我相信，终有一天我们会遇到一个瓶颈，单纯依靠语言的方法将不再奏效，我们需要引入更多的手段。

即便还能起作用，也会显得效率低下，而事实上还有更高效的做法。

我把这个问题看作一个表示学习的问题：可以说，语言是对物理世界某些方面的抽象，但在某些情况下，这种抽象要么不合适，要么不够高效，我们就必须学习另一种独立的抽象方式。

德鲁：不过您仍然认为大语言模型会扮演一个关键角色。在您提到的手术案例中，也许就有某个语言模型在做出一些关键决策。所以您依然认为它们很重要。

约瑟夫：当然。因为我认为语言终究是世界上最易理解的事物。从定义上讲，语言就是为了沟通而存在的。所以，大语言模型会一直存在，并且至关重要，这一点我绝不否认，但我并不认为这就是全部——故事远未结束。

我知道有一种说法，尤其是在硅谷，认为会出现一个超级智能的大语言模型，它能够不断递归地自我改进，并最终解决所有与物理相关的AI问题。

我不认为那会发生——也许只有万分之一的概率吧。这在当下可能会有些争议。

但我确实认为，我们需要对物理世界以及传感器数据进行基础性的深入研究。

根据我的经验，以及对相关研究领域的观察，一些语言可解释性研究者似乎假定，将所有的语言处理技术直接迁移到视频或视觉领域是轻而易举的，仿佛这只是个应用层面的问题。

但实际上，许多这些技术一到新领域就失效了。这不是简单的应用问题，而是相当于把自然语言处理领域多年的研究成果直接搬到计算机视觉上去。

诚然，两者之间存在一定的共通性，但也有一些根本性的差异，我认为必须开发全新的技术。

德鲁：是的，这也很直观。就像你有一个语言模型，它读了很多关于如何爬楼梯的内容，然后你试着给它输入一些真实的物理数据，比如人们爬楼梯的视频。

但仍然会感觉缺了点什么。如果你的基础知识全都是关于语言的，只是文本，只是读过关于爬楼梯的内容，那么中间还是存在一道鸿沟。

约瑟夫：没错，这让我想起认知科学里的那个“玛丽是盲人”的思想实验。这个例子是不是也受到了它的启发？

德鲁：我想不是。我觉得“爬楼梯”这个例子是机器人专家之前跟我提到过的，用来说明他们怀疑仅靠语言模型或语言基础架构是否足以构建真正具备物理能力的模型。

我们来谈谈“超级智能自主研究”的故事。对于这个设想，你觉得哪些部分值得怀疑？有些人认为，大语言模型将会把整个AI研究过程都自动化；等到加入物理理解变得轻而易举时，它们自然会找到办法去实现；如果物理AI真的是一个独立的领域，它们也会转而去攻克它。

那么，你对这类说法有哪些质疑呢？

约瑟夫：好吧，听起来确实是个很美好的故事，兄弟。更像是一个有趣的思想实验。不过我要先说明：我并不认为这是不可能的，而且其中也有一些成分是成立的，比如现在大家都在使用编程代理。

约瑟夫：而编程代理本身，我认为就是那些信奉上述叙事的机构所催生的产物。所以我觉得它有几分真实性，但总体而言，我还是觉得这更像一个童话，甚至有点荒谬，坦白说。

原因有很多。首先，我认为语言是有局限性的，我们确实需要直接从传感器数据中学习。有人可能会问，那语言模型难道不能意识到这一点，然后开始构建相应的系统吗？

对此我会反驳：物理世界不同于数字世界。那里有时间的流逝，有动作的迟缓；你需要移动物体；还存在种种信息上的约束。

此外还有物理层面的限制。或许可以打个比方：有时风险投资家会说：“哦，你凭什么觉得自己能做到？为什么现有的科技巨头做不到呢？”

约瑟夫：在我看来，这也只是一个听起来不错的说法，兄弟。有时候的确如此，但科技行业的老牌巨头往往规模庞大，久而久之就会出现内部激励错配和效率低下等问题。

同理，我认为同样的情况也会发生在“超级智能自主研究”上。总有一些信息上的边界，会在某种程度上阻碍其真正实现目标。

也许会出现超级智能的部分解体，或者形成各自的子集群，所以我更倾向于一种基于生态系统的思路。

德鲁：是的，这个类比很有意思。因为有些人期待AI代理能够解决大型企业中常见的臃肿和官僚主义问题——如果大部分员工都是AI代理，理论上它们之间的协调效率会远高于人类，同时也能缓解管理者与其下级之间产生的委托—代理问题。

这就有点跨领域的联想了。

约瑟夫：这挺酷的。我当然相信你会获得巨大的效率提升，但与此同时，也会带来一些新的权衡取舍，而这些可能是用人时不会遇到的，也可能超出了我们的预判范围。

我把地球看作一种超级智能，但它更像是一个生态系统，而不是单一实体。从目前的观察来看，“存在某个单一的控制者”这一假设未必成立。

德鲁：是的。关于大语言模型的局限性，这一点你和Yann LeCun的看法是一致的。Yann LeCun是AI领域的奠基人之一，也是你在Meta共事过的同事。

我记得你还和他一起参与了Meta的JEPA模型项目。你能介绍一下JEPA模型的核心理念吗？我觉得很多人对其了解还不够深入。

约瑟夫：好的。首先声明一下，以下是我对JEPA模型的理解，这可能与Yann本人的解读不尽相同，而且某些观点也不一定完全源自于他。

在我看来，JEPA是我见过的最酷的基础模型之一。用一句话概括，它实际上深深扎根于我们刚才讨论过的表征学习领域。

那么，我就简单说一下JEPA的标语吧。JEPA的标语是：你是在学习这些模型，在潜在空间中学习表征。也就是说，你不是去预测像素，而是在潜在空间中预测物体——这是一个抽象的空间。

那这到底是什么意思呢？举个例子，如果我说：“火箭，你的身后有一个气球。”

德鲁： 哪里？

约瑟夫： 就有一个气球。你并不需要对这个气球的颜色做出假设——它可能是红色的，也可能是白色的，还可能是绿色的。但我已经能够用语言为这个气球指定一个与任务相关的抽象层次。

从这个意义上说，JEPA所做的就是如此：它在场景中为物体或动态形成与任务相关的表征，并过滤掉那些不必要的信息，比如像素级别的细节。

再举个例子，这是扬·勒丘恩的例子，不是我的，所以算是“借”他的，或者说是引用他的——

德鲁： 希望这次也像气球一样有趣。

约瑟夫： 当然！我们不会把这场对话建模到量子力学的层面，那样会非常低效。

约瑟夫： 你可以想象一下，嗯，先别扯到量子力学，还是回到气球吧。气球比量子力学简单多了。

在气球的例子中，我可以告诉你你的身后有一个气球，而无需具体说明它的颜色、质地，以及光线照射在气球上的效果——这些都是计算上很昂贵的细节。

这样一来就高效得多。

在我看来，对JEPA最深刻的理解是：你几乎是在从物理世界中重新推导出语言，而无需将其真正转换成英语——这正是语言的本质。语言是我们对物理动态的一种最抽象、最高效的表征形式。

而通过JEPA，你正从第一性原理出发推导出类似的东西，但它针对你的任务进行了优化，不一定要最终转化为英语。

从这个角度看，你甚至可以把JEPA看作一种核函数，以非常高效的方式将高维感知数据投影到可能甚至是线性的特征方向上。而这些线性特征方向或许与语言存在某种类比。

这就是我对JEPA的理解。

德鲁： 我们是硬编码它应该用来表征事物的抽象层次，还是让模型自己学习？

约瑟夫： 是让模型自己学习的，这取决于具体任务。

约瑟夫： 没错。我认为这还是个开放的问题。如果你把JEPA应用于热力学系统，和应用于机器人及牛顿空间时，所学到的抽象层次可能会有所不同。

德鲁： 这里似乎存在一个有趣的权衡。回到我们之前关于哪些概念应该在一开始就硬编码的讨论：比如，我们对物理学的理解中存在一些已知的矛盾，或者像量子引力这样尚未解决的开放问题。

也许，如果你允许模型以合适的抽象层次来组织知识，就能绕开其中的一些难题；但如果你强迫它学习一种统一的表征，也许反而能解决这些难题。

约瑟夫： 很有意思。

德鲁： 不过，要做到这一点，可能需要大量的算力，甚至可能是超出常规的算力。

约瑟夫： 这是个很酷的实验。是啊，我很想知道它是否能够推导出解决这些开放问题的统一表征。

德鲁： 那么，你觉得JEPA这种做法适合用于世界模型吗？这就是你正在采用的方法吗？

约瑟夫： 这得看你的应用场景。另外——虽然你未必是这个意思，但这个问题里确实隐含着——我经常被问到：“这就是那个方法吗？这是正确的方法吗？这是最好的方法吗？”

也许多少有些无意识地——我不知道你是不是这样——但从语言领域继承了一种思维模式，认为总有一种万能的解决方案。我觉得在不同的场景下，我们会看到多种不同的解决方案。

因此，在某些场景下，我认为JEPA这类方法会非常有用。但如果你想渲染一个非常逼真的场景，那可能就不会用JEPA，而是会使用某种扩散模型，比如一个经过微调、专门处理抽象艺术之类的大型、精美的扩散模型。

我曾与计算机图形学领域的人进行过一次很有意思的交流。他们提到——对于游戏开发者来说，这其实挺直观的——当你设计一款游戏时，往往希望在场景中加入人类角色，但又不想具体规定他们的外观，只需要一个抽象的人类表征或对象即可。

那么，不妨做个思想实验：设想我们将计算机图形管线转换为对应的Foundation Model版本，你在游戏中用来填充场景的人类角色，实际上只是JEPA对人类的表征——也就是抽象的人类。

然后，也许再用第二个扩散模型来渲染出具有真实感的人类，比如头发的颜色、皮肤的纹理等等。这样一来，整个流程可能由多个不同的模型协同完成。

我真的不认为会有一种模型能够通吃所有场景。

德鲁：好的。是的。你可以设想不同的专用模型，也许有不同的架构、不同的训练数据，而且还受到不同约束的制约——比如你拥有的算力有多少，或者这些模型的延迟要求是什么。

所以你是在设想这里会“百花齐放”。

约瑟夫：是的，尽管在某些垂直领域可能会出现某种垄断，但目前尚不清楚这些垂直领域具体是什么。

德鲁：好吧，有道理。那么，JEPA 这种方法确实很有趣。这似乎是你与 Yann LeCun 存在共同点的一个方向。你们在哪些问题上分歧最大？

你觉得你们的观点之间最大的差异在哪里？

约瑟夫：是的，我只想说，我非常尊敬扬·勒丘恩，他的思想对我影响至深。

最大的分歧在于，我认为可解释性至关重要，而我不确定他是否认同这一点。当然，我也不想替他下结论。我只是想象他在看这段对话时会说：“等等，我其实并不这么认为。”

不过，据我理解，我是那种把可解释性放在首位的人。我会认为，如果我们在潜在空间中学习这些表征，就必须在每一步都清楚地知道这个潜在空间到底学到了什么。

当然，他也未必不同意这一点。

而且，我对这个问题持开放态度。可解释性不仅适用于 JEPA，也适用于扩散模型，还适用于基于像素的模型，适用于各种各样的模型。我不认为 JEPA 是唯一适用于所有场景的方法。

此外，还会有一些其他类型的世界模型或基于传感器的模型，以及多模态模型，它们与 JEPA 无关，但也同样需要可解释性。

德鲁：好的。那我们来谈谈这类模型目前的证据状况，以及我们的可解释性技术迄今为止发现了什么。你有一篇论文《在视频世界模型中解读物理》。

你在其中探讨：这些世界模型是否真的学到了物理变量的因子化表征。也许你可以再解释一下，你所说的“因子化表征”指的是什么。那么，你们得出了什么结论？

答案是什么？

约瑟夫：是的。那篇论文非常有意思，它始于一个思想实验：我们有这些视频模型，用无监督的方式在 YouTube 上进行训练。在模型内部，是否存在因子化的表征？

或者更直观地说：模型内部是不是一个物理模拟器？不是说模型能否生成符合物理规律的世界，而是它的潜在空间本身是否就是一个物理模拟器？

如果它是一个物理模拟器，你几乎可以想象，在潜在空间中存在某个点，当你调节那个点时，就能控制球的运动；或者可以把某些导向向量、流形或子空间当作物理模拟器上的旋钮来操作。

也许有一个引力常数，你可以调节它；也许可以改变球的运动方向，甚至颠倒重力的方向。总之，你在无监督的情况下，就学到了类似 Unreal Engine、Kubric 或 MuJoCo 的东西。

这就是他们最初提出的问题。

仔细想想，这种类比也可以用在人类身上。认知科学领域已经有几十年的研究，探讨人类的大脑是否内置了物理模拟器，而相关证据尚不明确。

还有一个直观的例子：闭上眼睛时，很多人能够想象自己在卧室里走动。你可以说，这是在用大脑作为模拟器；从神经科学的角度看，问题则是：我能否通过检查你的大脑，看出哪些脑区对应着你内在模拟的世界中的哪些部分？

是否有某个脑区专门负责表示你的沙发、重力、物体恒存性等等？

好，现在回到那篇论文。我们当时在问：视频模型内部是否具备这种解耦的表征？也就是说，如果存在速度的表征，我是否就能控制球的运动方向？

我们在 JEPA 中发现的第一点是，许多关于语言的假设都不成立了。颇具争议的是，对于像速度这样高度通用的物理原理而言，曾经让语言界颇为痴迷的稀疏自编码器，其重要性可能并没有想象中那么大。

我也并不认为叠加原理有多么关键。我们看到的是那些巨大的高维超球体，维度高达 60，在潜在空间中自由漂浮，而且整个潜在空间也是高度纠缠的。

例如，如果你想在潜在空间中改变一个正在运动的球的方向，方向是以这样一个 60 维的圆形超球体来表示的。它绝不是一个线性的特征方向。

而且当你改变球的方向时，也会以某种方式影响到它的速度——也许我们可以尝试训练一个稀疏自编码器来将它们解耦，但在稀疏自编码器处理的是线性方向，而我们面对的是这些庞大的实体时，这样做相当困难。

或许可以采用流形的方法，但这些问题仍需进一步研究并经由实证加以验证，目前尚未完成。我刚才提到的许多研究结果都是最近几周、几个月内才得出的。

那么，这一切意味着什么？我们为什么要在乎？这表明，当前的世界模型正在学习高度纠缠的潜在空间。也许通过扩大规模就能解决这个问题；也许任何问题都可以靠扩大规模来解决。

只不过这可能需要二十年时间，而且效率极低，还要消耗相当于二十座核电站的算力。另外，如果我们关心方向和速度——比如在自动驾驶汽车中——我们也可以像之前讨论的那样，把这些因素预先“烘焙”进下一代基础模型，并以千分之一的成本进行训练。

德鲁： 好的，这个解释很棒。我想回到你刚才提到的稀疏自编码器。这是一种常用于解析语言模型的技术：我们认为，在模型思考的每一个时刻，它同时只关注少数几个概念；于是我们训练一个专门的AI模型——称为稀疏自编码器——来识别这些概念是什么，假设每个概念在模型的“大脑”中都以线性方式、即在一条直线上被表示。

这种方法在某些情况下似乎对语言模型有效。

但你说，当我们处理视频模型时，发现那些表征根本不是线性的，而是一个60维的超球面，并且还与其他物理概念相互交织。也许你可以像对待语言模型那样，强行要求它们保持线性，从而把它们解耦开来；但这样一来，就会丢失一些东西——你会失去模型内部那种丰富的物理表征。

是这样吗？

约瑟夫： 是的，大体上没错，不过也有一些细微差别。首先，我认为在语言领域，人们也发现许多特征并非线性。但在语言中，线性近似还能维持更久。

也许这有点激进，但我认为线性是最高效的表达方式，而语言在某种程度上就是为了线性化而优化的——因为语言是我们用来交流的、对物理世界的高度抽象与精炼。

而在物理世界，甚至在视觉领域，你很快就会意识到，线性近似根本行不通，它会立刻失效。但在语言中，这种近似或许能撑上几个月。

于是我们会想：“等等，这有点奇怪。有些东西可以用线性近似，有些却不行。这是为什么呢？”还有你刚才提到的——不好意思，请再说一遍——

德鲁： 你是说，如果我们试图把这些概念解耦，可能会丢失某些信息，对吗？

约瑟夫： 是的，不过说实话，这一点并不明确，我得说这还是个开放性问题。

德鲁： 但在论文中，你们得出结论：总体而言，大多数发现的表征都是任务特定的，而非那种通用的因子分解式表征。是这样吗？或者说，这里的证据尚不明确？

约瑟夫： 还需要更多研究。这只是第一项研究。我们考察了两种由截然不同的物理模拟器生成的数据分布，因此尚不清楚，这种现象是否与特定的物理模拟器或数据分布有关；同时也不能排除，因为我们所研究的是相对较小的模型，更大的模型中或许会出现更强的通用性。

这就是论文的结论，但这也需要一个长期的研究计划。

德鲁： 好的，你们还发现这些模型中存在一个“物理涌现区”。你能解释一下这是什么意思吗？

约瑟夫： 当然。这篇论文的设定是：我们需要对物理进行某种可操作化的定义，而物理本身是一个非常宽泛、笼统的概念，涉及我们这个世界的基本动力学规律。

于是我们采用了一种名为“可能与不可能任务”的测试，它源自认知科学：在这些任务中，物理规律会被违反。例如，一个球从墙后消失，却不会从另一侧出现，这就是不可能的事件。

我们的想法是，通过测量模型在这些任务上的表现，理想情况下，它不应能预测那些不可能发生的事情。由此可以间接衡量模型对物理规则的内化程度。

我们将这一任务作为代理指标，用以探究在模型的各层中，物理特性是从何处开始涌现的——这里对物理的定义是较为高层次的，但不失为一个有用的起点。

我们发现，按照这种操作化定义，物理特性在整个模型中呈递增趋势，到模型中部达到峰值，但如果对其进行线性解码，则会有所下降。

此外，我们还发现，该模型处理信息的方式与人脑极为相似，采用了视网膜拓扑编码。它能够相当迅速地处理速度和加速度，但对方向的处理则需要更长时间；而方向似乎是驱动“物理涌现区”的关键因素。

在物理涌现区，我们观察到了一些非常有趣的现象：MLP单元几乎完美地实现了360度的分区，每个MLP神经元对应于球的不同运动方向，这种组织方式十分精妙。

与此同时，局部注意力头也在蓬勃发展，似乎在进行非常局域的空间—时间整合，这对于模型处理球的方向至关重要，并且似乎主导着整个“物理涌现区”。

你甚至可以称之为“方向涌现区”，因为要计算大部分物理规律，首先必须具备方向感。

于是，你发现自己置身于一个非常有趣的跨学科领域——物理推理与神经科学的交汇处，不禁思考：人类究竟是如何做到这一点的？而模型似乎也在做着非常类似的事情。

因此，沿着这条学术脉络继续深入研究，我认为将为我们带来诸多关于安全性的洞见，同时也让模型本身得到进一步提升。

德鲁：这也让我好奇，大型语言模型是如何做到这一点的。我们现在对视频模型中涌现出来的结构及其功能已经有了相当的理解，那么，这与我们对语言模型工作原理的认知相比，又有哪些异同呢？

约瑟夫：嗯，这是个好问题。简而言之，我本人并不是专门研究语言可解释性的专家，但看起来语言模型处理的问题确实大不相同，对吧？

它们并不一定需要以完全相同的方式构建方向的表征。

当然，也许你可以设计一个简单的例子：把那些视频片段全部转成像素，通过某种分词器输入到语言模型中，看看它能否完成相应的任务。

不过，我觉得语言模型所面对的根本性问题与物理推理截然不同，而物理推理本身也属于一个迥异于语言模型常规训练目标的范畴。

德鲁：我一直反复思考的一个问题是：最初我设定的框架是，有很多人专注于可解释性研究，而这确实是个极其困难的课题，我们之前的一期节目就专门探讨过为什么可解释性如此棘手。

此外，还有人在研究世界模型，这也被认为是一个极具挑战性的方向。

我当时的想法是：如果已经解决了世界模型，并且构建出了真正可靠的有效模型，那么可解释性或许就不再那么必要了。我们只需对我们的世界模型充满信心即可。

这样一来，似乎就不必同时攻克两个难题，而只需集中精力解决其中一个。

然而，现在我越来越相信，这两个问题其实是相辅相成、彼此互补的。

约瑟夫：没错，它们其实是一枚硬币的两面。或者说，解锁可解释性的同时，也就为世界模型的构建铺平了道路——因为你的模型会变得更加准确、数据利用更高效，也更加可靠。

德鲁：是的，结果自然也就更有用了。

约瑟夫：确实如此，非常有用。

德鲁：太好了。好的，非常感谢索尼娅做客本节目。

约瑟夫：也非常感谢！这次交流非常愉快。

德鲁：以上就是索尼娅·约瑟夫的访谈。索尼娅是World Mechanics的联合创始人兼首席执行官。我是主持人“火箭”德鲁。您收听的是《Informations AI深度解析》。

下期再见。