大语言模型与自指性

我昨天醒来时，脑海里浮现出以下这些想法，这些想法要么显而易见，要么很傻。

许多读者，包括我自己，都从道格拉斯·霍夫施塔特那里借鉴了这条核心论点哥德尔·埃舍尔·巴赫年轻时，智能的秘密（因此人工智能）将与自我指涉和“奇异循环”密切相关。

甚至连罗杰·彭罗斯的皇帝的新思想在某种程度上是反GEB的，讽刺的是，它同意GEB关于自我指涉对整个人工智能项目成败的根本重要性的看法。它声称（在我和大多数专家看来是错误的）人工智能永远无法起作用，因为哥德尔定理和自我指涉中存在某种东西，任何计算机程序都无法捕捉，但人脑可访问的奇异物理可以捕捉到。

现在，到了2026年，我们已经成功构建出在大多数足够明确且可判断的智力任务中表现优于大多数人的人工智能。在这些人工智能的技术栈中——无论是在变压器神经网络、它们运行的GPU集群、训练过程还是其他任何地方——都没有人需要内置任何关于自我指涉的内容。（除了，例如告诉模型角色和身份的系统指令，这些对于智能行为来说并非必需。此外，我不会把大型语言模型的自回归性质算作“自我指涉”;那只是动态反馈。）

当然，GPT 5.6 Pro和Fable可以比大多数人类更好地谈论自己、哥德尔定理、自我指涉、我们现在正在谈论的一切。但从未需要在任何时候内置自我指涉能力。它们是同一个预训练的副产品，模型们可以谈论宝可梦、长链聚合物、认知行为疗法、板块构造等。

难怪霍夫斯塔特说他对大型语言模型的成功感到震惊，并且对当前的人工智能能力感到沮丧。像这样的散文.他聪明到不会否认发生的事情，也不会编造理由说这些事情不算数（这是许多人采取的做法）。但他意识到，我们现在拥有了真正的会话智能，而GEB的世界观会认为这条路径过于廉价和简单，而且这条路径显然没有任何地方内置的“奇怪循环”。

当然，霍夫施塔特学院的人可能会认为这是一个奇怪的循环出现在大型语言模型中——事实上，GEB中从未明确说明需要在一开始就明确设计奇异循环。但没有在GEB上长大的人会把这当作一个有用的思考大语言模型吗？

事后诸葛亮，我们能怎么评价呢？虽然对角化和自指的思想当然在现代数理逻辑和计算机科学的诞生中起到了核心作用，但最著名的应用有阴性：自然数与实数之间没有双射。算术没有完全可靠的系统。没有解决停机问题的算法。

如果你的目标只是构建ZFC公理和一阶推理规则，或者建造一台电子计算机，你不会明确要求自指。你只需......开始构建，注意你的指令集不至于达到普适性。

是的，ZFC可以形式化并证明关于自身的定理。是的，电子计算机可以运行程序，将自己的代码作为输入。但没人需要把这些能力内置进去，就像自指不需要被写进字母表或语法规则一样。它作为普遍性的免费副产品出现了。

同样，大型语言模型谈论自我的能力，是因为它们能够谈论它们所训练话语宇宙中任何事物的副产品。那些最终基本被证实的关于智能的老观点，是智能是关于预测，而预测是压缩，压缩是寻找越来越好的柯尔莫哥洛夫复杂度上限。而不是自我指称的东西。（不过，如果你想知道柯尔莫哥洛夫复杂度为什么不行如果被完美计算，则该否定命题同样需要自指论证。）

还剩下什么？意识和主观体验当然依然极其神秘。据我们所知，霍夫斯塔特说这些与自我指涉有关，可能是对的。（据我们所知，甚至彭罗斯也可能说得对，这些物理学对生物大脑可及，但数字计算机无法理解！）

但认为在获得令人信服且改变世界的对话智能之前，必须有明确的自我指涉？让它埋葬在威斯敏斯特教堂或阿灵顿国家公墓，去掩埋人类历史上最重要的错误思想——地心说、亚里士多德的目的论物理学、以太、燃素、弗洛伊德的心理学、马克思预言工人起义随后是无阶级乌托邦等。但必须被埋葬。