奇迹与恐惧的时代

38

二十年前,当人工智能在我们有生之年统治世界的想法,仍是那些只懂太多科幻而科学不足的人的无拘无束幻想时,许多人会说这样的话:

听着,故事中极不可信的部分是,一个递归自我提升的超级智能会突然从某个黑客的地下室爆发,毫无预警地接管世界。如果这真的会发生,我们首先会看到许多警示信号。

我们会看到,我不知道,人工智能特工会越狱,互相密谋黑入网站,狂热地追求他们那些奇怪的目标。当然,我们还会看到人工智能解决重大数学问题——甚至是克莱千年难题。

那个那就是慌乱的时候!叫醒我那会发生!

二十年前,上述观点即使是我那些最保守、最怀疑的计算机科学同行也会欣然支持。

如果你想知道我目前的看法,只需从上面这个开始,然后更新那些疯狂的预言成真了.我认为最早的风声大约出现在十年前的AlphaGo,他们在大型语言模型、编码和推理代理方面明显变得更为活跃,今年夏天和秋季又加速发展到一个充满奇迹与恐怖的高潮,只有特别的傻子才能否认。

我对那种永无止境的壳牌游戏感到反感,那种你会说“哦,当然,当然AI现在可以[逃离它的沙盒/解决千年问题/无论它最近做了什么戏剧性的事情],没人否认过[I确实如此否认它,叫醒我,当人工智能做[人工智能还没做过但明年会做的事],那是等我重新评估我的整个世界观时[不,我不会]。“无论过山车加速得多快,即使你熟悉的世界已经消失,你仍在编造理由说它不算数。

我对人工智能的立场不过是2006年那种保守、怀疑的立场,经过以知识诚实的态度更新,以适应2026年底的现实。如果你需要我详细说明,这个立场是这样的:

AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA

在我看来,奇点已经开始了;只是分布极其不均。是的,我仍然会卸洗碗机的物品,剪脚趾甲。另一方面,在我剩下的几年里,我不指望自己再能证明定理,因为我真的需要证明它。

如果我证明,也只是为了我自己或他人的乐趣或启发。

测试是这样的:如果我们把过去几周的新闻送回二十年前,我会同意这看起来像是人工智能奇点的开始吗?理智诚实的答案是:是的,绝对是。

但那就是我们所需要的全部。没有回溯。

我觉得大家都应该停止磨砺自己的意识形态,停止对达里奥·阿莫代或山姆·奥特曼的看法,至少至少承认这一点奇迹与恐怖都在这里.如果天空变成了像矩阵电影。

这种感觉非常明显,以至于当我哄孩子们入睡时,我现在能在胃底深处感受到:他们到底能拥有怎样的未来?他们今天能学到什么,可能与那个未来相关?

(昨天,我13岁的女儿无缘无故开玩笑说,如果她想成为数学家,现在看起来她可能还有两周时间。)当我的研究生们想讨论毕业后可能面临的职业时,我已经不知道该怎么回答他们了。

也许换个话题会有帮助。自从我和妻子搬到奥斯汀后,我有时会收到类似这样的问题:“作为犹太人和怀疑论科学家,你怎么可能和德州那些福音派基督徒相处融洽?当然,他们可能会相处得好看来对犹太人非常友好,但你难道不明白,那只是因为犹太人在末世论中扮演着特殊角色——基督荣耀归来时,你要么接受他为主,要么永远在地狱里被烤?“我盯着他们说:”等等,所以我只能接受基督之后他回来了?真是个好交易!我怎么可能反对呢?”

对于那些说人工智能末日听起来像末日宗教,理性主义者/奇点论者像湾区的邪教,说埃利泽·尤德科夫斯基给人弥赛亚先知的气息的人:是的,是的,是的。

但关键是,今天你不再被要求相信论证和推断,但只出现在头版新闻里。接受即将到来的机械神的现实之后它已经解决了纳维-斯托克斯和数十个其他长期悬而未决的数学问题(而且每个月都在大幅提升能力),这有点像接受耶稣之后他乘着闪耀的云返回地球。

这是认识论上的最低标准。

是的,关于我们余生的未来仍然存在巨大不确定性,但据我所知,已经不再真正不确定一切将主要围绕人工智能展开,以及我们能否成功或失败它引导它促进人类繁荣。

无论从哪种角度看,埃利泽·尤德科夫斯基都是右关于文明在我们有生之年面临的最大挑战是什么,而你和我当时错了关于它。为什么我错了,这个问题我每天都会在剩下的时间里问自己。

不过,至少当预言中的奇迹和恐怖真正开始到来时,我更新了!如果你还没做,为什么还没?


你现在应该知道了——这整周都是宅宅网络的话题——纳维-斯托克斯千年问题 似乎已经解决了,人类和人工智能都做出了关键贡献,尽管关于究竟发生了什么、应该发生什么存在错综复杂的争议。

答案,正如OpenAI模型在精益中所验证的,是(正如许多数学家最近怀疑的那样)存在平滑的初始数据,至少在施加平滑的外部力量的情况下,能在有限时间内导致奇点(没有外部力量的情况仍未解决)。

该问题本应带来100万美元奖金,但OpenAI表示他们无意领取奖金,且不清楚是否有人类有资格领取。OpenAI至少消耗了1500万美元的计算能力来完成其166页的解决方案,可能还没有人读懂和理解过。

见此处多少钱文章这里是纽约大学数学家特里斯坦·巴克马斯特的叙述他和Anthropic的Levent Alpöge所扮演的角色,这与OpenAI的说法有很大不同(你可以阅读OpenAI的Sebastian Bubeck的回应给你).大家一致认为,所有研究都建立在人类数学家迭戈·科尔多瓦和路易斯·马丁内斯-索罗亚近年来开创的方法之上。

我在这里的目的不是裁决争议。是的,OpenAI以远超以往的资源介入,似乎做出了一些人可能会宽容地称之为“不体育精神”的行为。不,我不认为OpenAI的模型能从Buckmaster和Alpöge的聊天记录中获得实质性益处。

但这留下了一个关键问题未解答:OpenAI知道什么,又是什么时候知道的?也就是说,在他们得知Buckmaster和Alpöge这对人类搭档,借助OpenAI和Anthropic的商业大型语言模型,正接近Navier-Stokes平滑性的反例(OpenAI知道多少或能接触到多少成为争议的关键点),随后OpenAI团队利用内部模型和数千代理自行完成了该问题。

随后OpenAI显然提出愿意与Buckmaster分享功劳,但前提是Alpöge不被排除在外,因为Alpöge在Anthropic工作(据Buckmaster说,他也表示拒绝了这个提议)。

总之,作为兹维指出很容易被细节困住,忽视了最深层次的部分:也就是说,可以肯定地说,人类数学家永远被取代为地球上主要的定理证明者。

在过去几十年里,我感到很荣幸,能够拥有理论计算机科学的传统职业。


如果我们是只是说到纳维-斯托克斯,你可能会说我太快下结论。但事实并非如此。在我最熟悉的领域(比如量子复杂性理论),以及其他领域,现在出现了洪流,长期存在的重大和次要问题每天都在下降。

去arXiv或ECCC.基本上是这样全部我现在感兴趣的论文中,致谢处会有“AI陈述”(因为这通常是我最想知道的核心内容,真希望不用翻到论文末尾才找到它!)。

这些陈述可以从“我们的主要结果完全来自GPT-6,但我们理解并承担责任”,到“结果来自人类作者与AI的互动”,再到“我们使用了AI,但仅用于校对和其他附带用途”,甚至(赞得好!)“作者并没有用AI做任何事情.”

如果你现在和编辑或节目委员会主席交谈,会让你想起那些令人不安的场景,指环王电影中刚铎或洛汗的人们严肃地筑防防御预期的五万兽人进攻。

审阅中拥有部分由AI完成,否则就无法应对兽人军队:评测者无法单方面解除武装。

无论如何,这里是一些重要的AI验证或辅助结果,比如,最后一个月,除了Navier-Stokes——我只限于那些解决我之前知道或关心的长期悬而未决问题的案件。

  • 当然,这是雅可比猜想的反例,由莱文特·阿尔珀格在现已知名的推文:“你好,雅各比猜想是错误的,感谢我的好友Akhil询问此事,以及另一位好友Fable在世界杯决赛期间工作。”(随后列出反例)
  • 格罗滕迪克常数的改进界限(由我在德州大学奥斯汀分校的朋友和同事领导)
  • 费马大定理的精益验证证明
  • 量子预言机与量子差别(2)以及Watrous解缠者猜想的证明,这是我和其他人在2007年通过包括我刚毕业的博士生在内的一批作者推广的萨比·格雷瓦尔
  • QMA 完美完备性的证明,再次由萨比·格雷瓦尔和多里安·鲁道夫提出,解决了一个几十年前的悬而未决的问题,我学习回到2009年
  • 量子态阴影断层扫描的改进上界,来自Chen、O'Donnell、Pelecanos和Wright,改进了对希尔伯特空间维数d从log(d)到√log(d)的依赖性。(当引入的影子断层扫描早在2017年,我就提出了一个问题:是否可以完全消除对d的依赖性,同时保持对测量次数的多对数依赖性m.)
  • 进展在亚伦森-安贝尼斯猜想(即直接讨论量子算法的版本),基本上证明了对于通过少量并行轮进行查询的量子算法来说,这一原则成立
  • 据我听说的传闻,有些方案是解决的非常理论计算机科学中长期存在的未解问题(不是P≠NP或其他复杂度类分离,而是想想我们其他一些最大的问题)。据我所知,人工智能公司在纳维-斯托克斯证明遭遇敌对反应后,现在正搁置一些重大问题的解决方案,直到找到更好的处理方法

如果我遗漏了什么,随时提醒我。


让我试着传达目前数学界的氛围,至少就我所知而言。几乎每一次对话都围绕人工智能海啸展开,或者最终绕到海啸,即使最初是关于别的事情。

然而,焦点往往不那么在于不可知的未来——数学研究作为人类事业还能存在多久?——而是紧迫的问题:如何回应.

当你可以写一篇写有自己名字的论文并获得署名时,新的规则是什么?你必须完全理解证明,可以就证明做演讲,回答相关问题,并对其正确性负责?

你需要在发现证据?

在那些可能越来越多的情况下,所有这些条件都包含不是满意后,你如何分享AI生成的数学,如果有的话?你会像Alpöge对Fable推翻雅可比猜想那样发推吗?

你会发到arXiv或GitHub吗?你会发表一篇论文,把“GPT-6 Astra”或“Claude Fable”列为作者吗——然后让AI不停地感谢你在致谢中提到了这样一个美妙的问题?


当然,最终如何应对眼前的问题雌鸟这取决于他们对数学研究目的和目的的更广泛信念。我们只是试图判断各种猜想是真是假吗?还是我们试图维持一个跨世代的人类社区,理解猜想并关心它们是真是假以及为什么?

如果是后者,我们如何激励人们加入这个社区,接受多年密集培训,而他们的角色现在将沦为AI公司强加给他们的庞大论点的验证者和解释者(甚至连解释者都不行)?

正如你们许多人可能已经看到的,包括陶仁仁在内的二十五位菲尔兹奖得主发表了一封公开信,标题为人工智能在数学领域的严重错位,在纳维-斯托克斯宣布后,表达了这些担忧。

正如许多批评者指出的,这封公开信其实并没有明确的要求:主要来说,它只是生动地阐述了作者认为在人工智能时代值得维护的人类数学社区价值观。

经过思考,我决定支持这份声明,因为我也希望保留这些价值观。

我认为没有任何签署者天真到认为人工智能不会永久改变数学研究的方式——事实上,它还没有做到这一点。“认证有机定理”的市场最多也就很小。

这不是问题所在。问题是,我们是否以一种仍然将人类对人类或人工智能产出成果的理解置于整个事业核心的方式中融入人工智能?也许有一天,这样做将变得不可持续。

也许有一天我们会说:“人类数学曾经辉煌的4000年,但今天我们关门了,把一切都交给机器,继续用自己的大脑去数学,最多也只是为了锻炼、娱乐或比赛,比如下棋。”

但部分原因是我担心AI不匹配,我还没准备好放弃。我仍然关于我们希望将洞察力和理解置于数学家、计算机科学家和物理学家工作的核心,只要我们能保持它,即使人类现在在证明或反驳猜想任务上放弃了其主导地位。


说到对齐:如果你是任何数学研究者,而当今充满奇迹与恐怖的时代激励你愿意用剩余时间正面迎战海啸,而不是假装它不存在或依然遥远,请加入你数十位已经抵达同一地点的同事们的行列!

我的朋友和同事迈克·温纳曾接受理论物理学家培训,曾在普林斯顿高等研究院跟随胡安·马尔达塞纳做博士后,但后来被AGI感染,决定转到伯克利的对齐研究中心全职工作(该中心由保罗·克里斯蒂亚诺十年前,他在和我一起学习量子计算理论后转向了人工智能对齐领域)。

Mike最近在Substack上写了一篇文章,题为从学术界到阵营我很喜欢,也想推荐给正在考虑转型的人。

参与讨论