MIT博士“叛逃“物理系：我要用物理学重写AI的底层逻辑

https://www.xiaoyuzhoufm.com/episode/6a69b07eb581962ce2bd4d97

2024 年 4 月，一篇挂在 arXiv 上的论文在技术社群里炸开了锅。

有人说，统治深度学习几十年的 MLP（多层感知机）可能要被改写了。

也有人说，这不过是又一个"看起来很美"的架构。

这篇论文叫 KAN：Kolmogorov-Arnold Networks，第一作者是 MIT 物理系博士生刘子鸣，导师是因"数学宇宙假说"闻名的 Max Tegmark。

论文发布后三个月内引用超过 75 次，随后在 ICLR 2025 正式发表，累计引用超过 3700 次。

2025 年底，刘子鸣和合作者关于表示叠加（Superposition）的工作又拿下了 NeurIPS 2025 最佳论文亚军。

2026 年，他回到国内，入职清华大学人工智能学院，参与创建公司元环智能，担任首席科学家。

五月开始融资，他用来形容这股资本潮的话是：太疯狂了。

物理系的人为什么都跑去做 AI

刘子鸣本科在北大物理学院，大二那年，他被 GAN（生成对抗网络）吸引进了 AI 的世界。

理论物理太难，比不过姚顺宇那种人，后者在本科期间就发了两篇 PRL 论文。

实验物理也不行，进了实验室只会把事情搞得更乱。

他自己说，有次做磁流体实验，搞得满手满脸都是。

两条路都堵死了，GAN 出现得正是时候，数学上没那么难，做出来的东西又足够 fancy，他就这样从物理滑进了 AI。

但他没有彻底放弃物理背景，而是选了一条折中路：AI for Physics，用 AI 做物理学家的工具。

这一做就是五年，从 2017 年到 2022 年。

2022 年底，ChatGPT 出来了。

他觉得物理里没有像 ChatGPT 这么性感的东西值得去做，于是把 AI 和物理的角色对调了：不再是 AI for Physics，而是 Physics of AI，用物理学的方法论去理解和设计 AI。

这个转向，和他导师 Max Tegmark 的轨迹高度吻合。

Tegmark 从 2012 年开始推广 AI for Physics，2022 年底带着整个组转向机制可解释性，理由是：大语言模型太危险了，要保证它的安全，就必须先理解它内部到底在做什么。

KAN 的诞生：一个被导师否定过的 side project

KAN 网络是刘子鸣在 MIT 读博期间做的项目，一开始 Tegmark 不同意他做。

Tegmark 甩给他一篇 1989 年的论文，作者是 MIT 的 Thomas Poggio。

论文的结论是：Kolmogorov 和 Arnold 在 1957 年提出的那套数学定理，在最坏情况下没有办法被做成真正可用的算法。

刘子鸣的反应很物理系：我不 care 最坏情况，我关心的是它在一般情况下有没有用。

物理学里有句话，"所有模型都是错的，但有些模型是有用的"。

我们能活在这个宇宙里，说明这个宇宙不是最坏的宇宙。

他花了两周把原型做出来，拿去找 Tegmark。

Tegmark 说：你还是造了个黑盒子，我不知道里面发生了什么。

又花了一周做可视化。Tegmark 看到之后说：wow，this is awesome。

KAN 和 MLP 的核心区别在于：MLP 把激活函数固定在节点（神经元）上，KAN 把可学习的激活函数放在边（权重）上。

这个看似简单的改变，让网络的内部结构可以被直接可视化，研究者第一次能看到神经网络"脑子里在想什么"，而不只是盯着端到端的预测结果。

在数据拟合和 PDE 求解任务上，更小的 KAN 能达到比更大的 MLP 更好的精度，而且 scaling law 比 MLP 更快。

KAN 的核心思路，来自刘子鸣一直以来的执念：AI 是连接主义的，物理是符号主义的，这两个哲学差得太远，他想构建一个网络，同时是神经网络，又是符号公式，类似量子力学里的波粒二象性。

他后来才发现，自己推导出来的方程，就是 1957 年 Kolmogorov 和 Arnold 写出来的那个。

只不过他是从神经网络和符号公式统一的角度独立推导出来的。

而 Kolmogorov-Arnold 表示定理附带一个万能逼近定理：这种表征能够表示任意函数，相当于给 KAN 提供了理论背书。

NeurIPS 2025 最佳论文亚军：Scaling Law 背后的物理学

KAN 之后，刘子鸣和合作者做了一件更有意思的事：他们试图解释 Scaling Law 为什么成立。

这篇拿下 NeurIPS 2025 最佳论文亚军的工作，核心发现是：模型宽度增加时，loss 和宽度之间呈反比关系，而这个规律的来源是表示叠加（Superposition）。

所谓表示叠加，是说 LLM 表示的特征数量，远超它拥有的维度数量。

模型宽度变宽，几何约束放松，表示叠加带来的干扰减少，loss 自然下降。

更关键的发现是：这个 1/宽度 的缩放律，不依赖于数据分布是否是幂律分布。

即使数据是任意分布，模型也会给出一个类似物理学里"普适类（universality class）"的行为，把数据的细节全部抹掉，稳定地输出同一个缩放规律。

这是一个典型的物理学视角：不是在问"这个模型在这个数据集上表现如何"，而是在问"是什么底层机制，导致了我们观察到的普遍现象"。

设计模型应该是一门科学，而不是拍脑袋

KAN 和 Superposition 这两个工作，让刘子鸣开始想一个更大的问题：Transformer 是拍脑袋拍出来的，GAN 是拍脑袋拍出来的，ResNet 是拍脑袋拍出来的，KAN 也是拍脑袋拍出来的。

这件事本身就不 scalable。

模型设计应该是一门科学，应该能从第一性原理推导出最优架构是什么。

他用天文学做类比：第一阶段是第谷，大量观测记录数据；第二阶段是开普勒，拟合出行星轨迹是椭圆，有了经验公式；第三阶段是牛顿，用一个引力公式把开普勒三大定律全部统一。

每一个阶段都是一次极致压缩。

对应到现在的 AI，他认为我们大概处于 1.5 阶段，有了 Scaling Law 这样的经验规律，但远没到 AI 的牛顿时代。更悲观的说法是 0.5 阶段。

因为我们过早收敛到了 Transformer 这一种架构，就像第谷只盯着一片星区，忽视了对整片星空的观测。

Transformer 的成功，很大程度上是因为语言本身是人类演化了百万年的馈赠，是一种已经被压缩得很好的模态。

不管你用什么架构，只要能把这份馈赠吃下去，就是好模型。

换句话说，大语言模型的成功不是因为 Transformer，而是因为语言。

这也是他同意谢赛宁那个判断的原因：大语言模型是反 Bitter Lesson 的。

Rich Sutton 在 2019 年的文章里说，70 年的 AI 研究告诉我们，靠堆算力的通用方法，长期来看总是赢过引入人类先验知识的方法。

但语言模型的成功恰恰是个例外，它赢不是因为架构，而是因为语言这个模态本身已经被人类文明预压缩好了。

从 MIT 到斯坦福：信仰的转变

在 MIT 读博期间，刘子鸣和同学们普遍瞧不起湾区那些搞 agent 的人，觉得那是在骗钱。

他的目标是在学术界做出更有影响力的工作，不和工业界同流合污。

去斯坦福做博后之后，六个月，他的想法变了。

变化来自两个方向。

一是他有个在 MIT 时同样瞧不起创业的好朋友，去了斯坦福两周就跟他说要创业了。当你看到和你风格很像的人做出你之前觉得不可能的事，你会开始怀疑自己是不是太保守了。

二是他在斯坦福所在的实验室，导师 Andreas Tolias 是做神经科学 foundation model 的顶尖学者。

刘子鸣亲眼目睹了他从 pure scientist（纯科学家） 转型成 entrepreneur（企业家） 的全过程。

从秘密筹划到正式宣布，刚好是他在那里的六个月。

Tolias 转型的理由很简单：做猴子和老鼠的实验需要非常贵的仪器，公司能提供学校给不了的资源，而且投资人承诺三年内不用考虑商业化。

2026 年的资本狂潮

今年三月回国，四月底入职清华，五月底开始参与融资。

刘子鸣说，这个过程的体感就是太疯狂了。

投资人相互打探消息，出手速度极快。

AI for Science、世界模型、AI for AI，在一级市场都是非常热门的状态。

融资结构也很特殊：种子轮之后不断加轮，上一轮投资人没进来，就再开一轮，形成连续融资的状态。

他认为 neo labs 大量涌现背后有两个原因。

心理层面，顶尖人才不想去大厂做大头兵，宁可自己出来单干。

现实层面，当前的 Coding Agent 范式有明显的 missing part。

世界模型需要新的架构设计，auto research 的数据还没有被结构化，这些都是现有范式够不到的地方，而且早期需要大量研究投入，不是堆资源堆工程就能解决的。

这个判断和田渊栋的 RSI（Recursive Superintelligence）的逻辑是一致的。

RSI 在今年五月宣布完成 6.5 亿美元融资，估值 46.5 亿美元，谷歌 GV 和 Greycroft 联合领投，英伟达、AMD 也参与其中。

RSI 的目标是"最大化知识发现速率"——让 AI 自主提出假设、设计实验、评估结果，把整条研究 pipeline 自动化，形成递归自我改进的闭环。

AI for AI 的非典型路线

刘子鸣做的 AI for AI，和大多数人理解的不太一样。

主流的 AI for AI，是用 coding agent 去写论文、提升训练 pipeline，从神经到神经，没有经过符号这一层。

他想做的是：用 AI 来自动化做 AI 的物理学，先理解 AI，再用这个理解去改进 AI。

他把这个路线的全称写成：AI for Physics of AI for AI。

中间那一层"Physics of AI"是关键。

他认为，AI for X 能成功的前提是 X 有大量数据。

但 AI Research 本身没有大量结构化的高质量数据，所以不能直接用 AI 去提升 AI，必须先把 AI Research 这件事结构化。

这个逻辑有一个现成的参照系：朱泽园（Zeyuan Allen-Zhu）在 Meta FAIR 做的 Physics of Language Models 系列工作，就是把"智能"拆解成语言结构、知识、推理等维度，用合成数据在受控环境里做大量控制实验，试图找出 LLM 的普适定律。

刘子鸣想做的，是把这套方法论本身自动化。

把自己当模型训练了 60 天

这个想法的起点，是他今年年初做的一个人体实验。

每天随机拉一个数据集、一个模型，在做实验之前先问自己：这个训练曲线会长成什么样子？然后做实验，对照结果，更新认知。

他坚持了大约 60 天。

前四五十天，预测能力很差，连趋势都经常预测错。

到了四五十天之后，他突然开始准了——不仅能预测语言相关实验的结果，换到视觉相关实验也能预测准。

这个过程有点像神经网络训练里的 grokking 现象：模型在训练集上早就过拟合了，但在某个时间点突然顿悟，泛化能力急剧提升。

刘子鸣和 Tegmark 在 2022 年就做过 grokking 的研究，发表了 Omnigrok 和 Towards Understanding Grokking 两篇论文，把这个现象的原因归结为训练 loss 和测试 loss 的 landscape 之间存在错位。

他在自己身上观察到了类似的相变。

他说他说不清楚自己是怎么做到的，可能是某种视觉 reasoning，可能是在潜空间里有些推理，但没办法用语言写出来。

这个人体实验让他相信：存在一种"原模型"（meta model），它的输入是模型架构和训练配置，输出是训练曲线。

人能学会这种预测能力，模型也应该能学会。

他每天最多仔细做一两个实验，这是人的带宽上限。

但一个模型一个 batch 可以见到几千组实验。

他想把自己的这种预测能力外化成一个模型，让它不需要睡觉、不需要吃饭，专门去看各种各样的实验并预测结果。

原模型怎么训

原模型的训练数据是模型本身。

具体做法是：生成一个模型，训练它，拿到训练曲线，这就是一个数据点。

再生成另一个模型，再拿到对应的训练曲线。

用这些（模型，训练曲线）的配对数据，用监督学习的方式训练原模型。

这个过程需要大量小模型，但不需要大集群，不需要卡间通信做得很好。

关键是多样性，要让原模型见过很多看起来奇怪的架构，这样它才有可能帮助我们跳出 Transformer 这个局部最优解。

短期目标是结构化 research，收集结构化的研究数据。

他们正在开发一套工具，强制研究者在进入下一个实验之前，必须写下对上一个实验的观察、结论和假设。

他把这套方法论的缩写叫 OPHIS：Observation、Problem、Hypothesis、Intervention、Speed up。

他预计，20 个学生和员工每人每天采集 10 条，两个月就能积累一万条数据，差不多可以开始训练第一个蒸馏自己认知的模型。

和 RSI 的区别：勤奋 vs 聪明

田渊栋的 RSI 做的是 coding agent 路线的改进，更勤奋的 AI，有超强行动力，不停迭代。

RSI 的目标是打造相当于 5 万名科研博士级别的研究能力，把评估、数据筛选、训练、研究方向选择全部交给 AI 自己来做，让系统提出假设、读材料、设计实验、评估结果，再把结果用于改进下一轮模型。

刘子鸣想做的是更聪明的 AI for AI。

提三个想法，可能就有一个 work，而不是提一百个想法才有一个 work。

他把这两条路线描述为正交的方向，最终会在某个地方整合。

他也承认，田渊栋本人其实挺支持 Science of AI 的，他们在 grokking 这类研究上 taste 很相近，这让他有一定的危机感。

RSI 的博客也显示，他们认为可解释性是递归自我改进的核心支柱。

因为如果你不理解模型内部在发生什么，你就无法判断它是在发现新东西，还是在越界。

两家公司的分歧，本质上是一个老问题：先理解再改进，还是边改进边理解？

机制可解释性：一个正在分裂的战场

Anthropic 做机制可解释性的方式是解释到单个神经元的层面。

找到一个"说脏话的神经元"，把它关掉，模型就不说脏话了。

他们用 sparse autoencoder 把模型内部混合的表征升到高维稀疏空间，试图把原子级别的概念抽取出来。

刘子鸣认为这类故事不够稳健。

换一个随机数种子，那个神经元可能就没有同样的行为了。

他们组在 22 年底到 24 年初也做过大量类似的工作，知道里面有多少水分。

他的导师 Max Tegmark 走得更远。Tegmark 最近公开表示，他已经放弃了大部分机制可解释性研究，转向"verified coding"——让 AI 生成传统代码，并附带数学证明，证明代码的行为符合预期。

Tegmark 的判断是：机制可解释性来得太晚，不足以解决 AI 安全问题。

他的 P(doom）超过 90%，认为如果现在不加以监管，超级智能失控的概率极高。

刘子鸣的判断稍有不同，他最近重新开始思考机制可解释性的价值。

放在 AI for AI 的框架下，它不再那么缥缈了。

之所以之前觉得需要几百年，是因为没有办法自动化，一旦能自动化，进展可以很快。

这里有一个有趣的分叉：老师（Tegmark）认为可解释性太慢、已经来不及了，转向了更保守的安全路线；学生（刘子鸣）认为可解释性方向是对的，但需要用 AI 来加速它本身。

终极产品：Vibe Training

刘子鸣把最终产品叫做 Training Autopilot，短期版本是 Training Copilot。

用户不需要知道 Transformer 是什么，不需要知道怎么调参，只需要说清楚自己的需求和预算，系统就能端到端地设计模型、训练模型、部署模型，直接交付一个可用的结果。

类比是：Claude Code 让不会写程序的人也能写程序，Vibe Training 让不会做 AI research 的人也能训练自己的私有模型。

他的更大愿景是：不是自己做一家 OpenAI，而是能孵化出各行各业、各个垂直领域的 OpenAI。

就像 LM 统一了 NLP 里的各种任务，这个系统能统一跨领域的模型设计和训练。

他也坦承，当技术便宜到一定程度，有些需求会自然涌现，但现在还很难想象。

就像没人能预测到每个家庭都会需要一台电脑。

三条路，同一个问题

刘子鸣最后给出的关键判断是：AI for Coding 的下一个会是 AI for Research，但需要用 Physics of AI 的方式去做，不能跳过结构化这一步。

对于想在这个方向布局的人，他的路线图是：先把 research 的思维链结构化，建立数据采集机制，再训练能蒸馏研究直觉的模型，最终目标是让 AI 在垂直领域提出新架构，而且不是涨 1% 的点，是涨 10%。

这个时间线，他认为是三到五年。

值得放在一起看的是：

他的导师 Tegmark，P(doom）超过 90%，已经因为担忧 AI 安全而放弃了可解释性研究，转向更保守的 verified coding 路线；

田渊栋的 RSI，拿着 46.5 亿美元估值在全速推进递归自我改进，目标是"最大化知识发现速率"；

而刘子鸣选择了一条中间路径，用物理学家的方法论，在两者之间找一条更慢但可能更扎实的路。

三条路，三种信仰，最终都在押注同一个问题：AI 能不能理解自己，然后改进自己。