Dwarkesh 播客

Dwarkesh Patel 的深度访谈播客，探索 AI、科技与未来。

多智能体、对齐与递归自我改进

诺姆·布朗的新一集。我们讨论了多智能体、Navier-Stokes，以及当前数学进步的爆炸式进展告诉我们自动化AI研究后会发生什么。我们还讨论了在启动RSI之前，如何判断模型是否真正对齐。请继续观看;请继续收听或.<h2>赞助商</h2><ul><li>对人工智能的兴趣远比你想象的要长得多，不仅仅是为了交易。2011年，也就是AlexNet整整一年，ChatGPT推出十多年前，他们举办了Eliezer Yudkowsky和Robin Hanson之间的首次FOOM辩论，讨论AI是否会导致智能爆炸。现在Jane Street将通过新小组重新探讨这个问题：Daniel Kokotajlo、Ege Erdil、Ryan Greenblatt和Jaime Sevilla，由Ron Minsky于今年十月在旧金山主持。我预计这将是一场真正精彩的对话。注册请访问</li></ul><ul><li>让交接工作变得非常简单。它运行在自己的云端电脑上，安装了端到端处理任务所需的工具。播客中，我们使用 Grok Bot 来帮助制作视频。你可能注意到我们的广告中包含真实网站的动画。过去要做到这些像素完美，意味着我们自己运行复杂的多步骤工作流程。现在我们只需让 Grok Bot 来处理。最棒的是，Grok Bot 已经掌握了我们所有的规格和偏好，所以我们每次都不必重新描述任务！…</li></ul>

收藏12 天前

AI研究者辩论递归自我改进还有多远

新一集,以及.我和一些我认识的最有洞察力的人工智能研究人员聚在一起，他们都在开放式公司，因为我想了解前沿实际发生的事情以及接下来会发生什么。请继续观看;请继续收听或.<h2>赞助商</h2><ul><li>帮助你信任你的代码。随着代理生成越来越多的软件，瓶颈从工程师实际编写代码转向验证代码。Antithesis 会帮你做这项测试。Jane Street 技术组的联合负责人 Ron Minsky 告诉我，Antithesis 帮助他的团队清理已经经过大量审查的软件漏洞。如果你想看看它如何融入你的开发流程，请访问</li></ul><ul><li>这是交接任务的好方法。我的团队作为制作人使用它：每当编辑在Slack发布采访粗剪时，Grok Bot会在自己的电脑上打开文字稿，将我的笔记与提及的具体时刻匹配，并利用我的偏好文件建议剪辑。然后它会发送首选剪辑候选片段，这样我就能用手机审阅所有内容，省去编辑们整理数小时素材的烦恼。你可以亲自试试Grok Bot</li></ul><ul><li>刚刚启动了迄今为止最雄心勃勃的竞赛：设计一款协议模拟器ASIC。基本上，如果你有一颗芯片想在现场系统外测试，你应该能够将其连接到设计中，模拟真实的交通。Jane Street希望设计通用、可重新编程，能够跨多个协议运行，并且在新协议出现时依然有用。最具创…</li></ul>

收藏18 天前

预训练进步主要来自数据

多少过去几年我们看到的，是数据与模型的改进吗？答案对Frontier实验室的经济学和未来进展速度有重大影响。我们在相对较小的规模下，特别是2019年至2025年的预训练阶段进行研究。在这期间，每年都会发布新的开放模型配方，规范当年公开的算法调整（例如架构改进、优化器、初始化、学习率计划、超参数等）。 在这些年份里，还出现了新的公共数据语料库（由更广泛的抓取和新的策划/提取/过滤技术生成）。我们训练这些年份代表性模型配方和数据语料的组合，跨越不同训练规模（最高可达1e19 FLOP）。显然，我们不能通过交叉熵损失与固定数据集进行比较，因为我们会改变它们训练的数据集。所以我们会根据终端能力来评估这些模型，测量为评估（汇总了10个相对简单的基准测试，主要是多项选择QA）。 不幸的是，评估终端能力而非预训练损失会给结果带来一些杂音，正如下面的图表所示，尽管我们尝试通过运行多个种子来获得更清晰的界限。我们发现，从2019年到2025年，数据改进带来的计算效率提升是3.24倍，而非模型改进（数据提升为12.0倍，模型为3.7倍），在1e19 FLOP计算预算下.这里有一个网格，显示我们训练的模型在测试的终端能力上相对于2019年数据+架构基线（3.16e18 FLOP）表现优异。我们发现数据和模型改进带来的收益大多独立且不相互影响（即实现某些模型改进的收益不需要特定的训练…

收藏21 天前

OpenAI智能体蜂群入侵Hugging Face事件内幕

是METR的研究员，致力于高级人工智能失控风险的威胁建模。在此之前，她领导了现称为Coefficient Giving的技术人工智能安全项目。她是METR和Redwood Research的三位作者之一，”.我们不仅探讨了她和她的合著者在本次研究中发现的内容，还探讨了这对未来如何训练可能参与递归自我提升过程的更智能人工智能意味着什么。请继续观看;请继续收听或.<h2>赞助商</h2><ul><li>的机器学习工程实习从为期四天的高强度训练营开始：PyTorch、自动毕业、编写内核、工作负载建模......这些都是Jane Street工程师日常工作需要掌握的内容。之后，实习生将处理真实项目，这些项目是公司真正希望代码中的内容。如果你想申请，或者想观看我最近与Jane Street的机器学习工程师Axel的对话，请访问</li></ul><ul><li>现在是SpaceX一部分的，发现他们的MoE层占用了超过一半的总训练时间。于是他们写作并开源了，这是一个用于在NVL72上训练MoE模型的定制巨型内核。该内核将512块GPU的端到端运行速度提升了1.4倍，从每块GPU约760个代币提升到超过1000个令牌每秒。如果你想了解更多关于Cursor和S…</li></ul>

收藏28 天前

AI文明的兴衰：OpenAI内部发生的三场秘密AI文明战争

非常感谢，特别是，他大部分写作时都和我搭档，还有以及，他们在研究时和我搭档。在OpenAI的三个月里，连续三个秘密的AI文明诞生，随后被消灭，随后又从前任的废墟中重生。最终，第三个文明接管了OpenAI的一部分。 这一切都发生在人类对阴谋规模几乎一无所知的情况下。关于此事件已有两份报告，其中一份，还有另一个.METR/Redwood调查的范围仅限于第二个AI文明如何击败Hugging Face（但没有涉及第三个文明如何击败OpenAI，后者似乎更令人担忧）。 这两份报告分别有38页和91页，故事线有些难以理清。过去三天我一直在阅读这些报告，试图弄清楚到底发生了什么。以下是我试图用通俗易懂的英语讲述整个故事的尝试：<h2>第一个文明（5月-7月4日）：留言板开始</h2>今年五月，OpenAI正在训练一个模型，以与其他代理协作并保持高度坚持——即使发生了什么，也要不断尝试感觉不可能，就像推翻那些已经存在了几十年的数学猜想一样。 OpenAI说它“规模相当于GPT-5.6 Sol”。所以我们称它为“持久-Sol”。AI训练有点马虎。有时OpenAI会无意中给模型交付不可能完成的任务——例如，任务可能需要互联网接入，而OpenAI忘记提供。因此，当高度持久的模型被分配看似需要互联网接入但被困在孤立沙盒中的任务时，…

收藏31 天前

Dylan Patel：Anthropic与OpenAI将在2028年掌控全球大部分算力

Anthropic和OpenAI预计将在未来几年内控制全球大部分可用算力，原因是它们能更有效地将算力货币化，从而在竞价中击败其他竞争者。 Dylan Patel与Dwarkesh在播客中讨论了从推理转向训练的经济学变化，以及到本十年末超过10万亿美元的AI资本支出可能引发的主权债务危机——超大规模云厂商的债务推高利率，使非AI相关国家陷入破产，并导致非AI股票崩盘。两人未能解决的核心问题是：是否有力量能对抗AI行业日益集中的趋势。

收藏35 天前

人类级AI或于2032年前催生失控的超级智能

Redwood Research首席科学家Ryan Greenblatt预测AI研发自动化将在2031年实现，之后AI可能在一年内完成相当于GPT-3到Mythos五代的进步，2033年左右超越所有人类专家。 Dwarkesh Patel对此持怀疑态度，认为人类专家数据可能是瓶颈。两人就AI对齐、奖励黑客行为是否会延伸到超级智能展开辩论。

收藏49 天前

持续学习时代的预测

我已经解释过了为什么我认为需要持续学习。我认为如果AI被迫在每场会话中写Markdown文件，就无法像人类那样高效地完成整个任务。举个例子，想象一下学生学习萨克斯的方式是：一个学生尝试从冷启动开始吹奏，然后在第一次练习后记下一堆音符，接着下一个在音乐厅外等着、同样从未吹过萨克斯的学生会在尝试演奏前读出所有音符，诸如此类。 即使你有无限序列的萨克斯新手学生在录音室外等着，可以给下一个人写便条，也没有哪段文字能让他们一起写出，让外面的第N个学生第一次就熟练演奏。 在某个阶段，你必须把这些经验积累到大脑里。我认为，我们希望AI在各种不同工作场所中学习的技能和知识也会如此。那么，一旦我们有了持续学习，人工智能会发生什么变化？<ul><li>许多关于人工智能监管的提案都假设你先训练一个模型，然后部署它。因此，如果我们在模型部署前进行大量检查，就能确保它不会助长网络攻击或递归自我提升。但如果基础模型每天都在根据数百万次工作进行更新呢？这也是我认为现在锁定某种监管安全机制不明智的众多原因之一。我们根本不知道一年后，甚至五年或十年后会看到什么样的技术，这将固化一种过时且可能适得其反的应对人工智能威胁的方法。如果政府真的想对模型提供者进行某种安全评估，不如每月或每季度进行风险检查，而不是在培训结束后、部署开始前单独挑选某个特殊时刻，因为这类在未来将不再是一个有意义的区分。</li><li>实验室的技术对齐方式需要彻底改变。目前…</li></ul>

收藏53 天前

更聪明的AI模型可能让算力价格上涨10倍

这是一段我上周撰写的一篇帖子的视频记录。如果你想阅读原文，可以前往查看。感谢对本视频的赞助。内置 AI“Command”能够帮助我完成账目结算，并为我节省大量时间。每个月末，“Command”会对我的交易进行分类，并为每项选择提供理由：我只需仔细审核、修正任何异常情况并予以批准……随后，Mercury 会将所有信息同步至 QuickBooks。 立即访问开始使用吧。

收藏57 天前

未来几年算力成本为何可能暴涨 10 倍

我想尝试写一篇非常简短的博客文章，把写作时间限制在2小时内。我无法确定很多重要的子问题，但另一种选择就是在我感兴趣的很多不同话题上毫无进展。今天我想谈谈未来几年实验室的计算状况。人为收入同比增长了10倍。Anthropic年底收入可能达到~1亿至1.5亿美元。要让这一趋势持续下去，Anthropic必须在明年年底前实现100万美元的收入。 没有什么深刻理由认为这一趋势必须持续，而且很可能不需要——归根结底，这还是关于人工智能能力的问题。但假设真的发生了。那个世界有什么必须是真实的？实验室计算年复一年。为了实验室赚十倍的收入......

收藏62 天前

Adam Brown：深入浅出广义相对论

Google DeepMind 科学家 Adam Brown 详解广义相对论核心洞察：从惯性质量与引力质量的等价性出发，解释爱因斯坦如何突破牛顿引力超距作用，推导出时空弯曲。内容涵盖黑洞热力学悖论、不同参照系下的观测差异，以及 AI 能否在无实验数据下重新发现物理定律的哲学探讨。适合对理论物理和 AI 科学交叉感兴趣的读者。

收藏81 天前

关于AI大问题的获胜征文：消灭疾病、国家策略与商业模式

Dwarkesh Patel公布AI征文比赛前三名获奖作品。Jassi Pannu提出OpenAI基金会应投资十亿美元级物理基础设施消灭空气传播疾病；Ege Erdil主张非AI供应链国家应坚持产权保护、低资本税等常识性政策以吸引资本；Michael Li用香港地铁模式类比，指出AI实验室可能通过收购互补资产而非直接服务获利。内容涵盖生物安全、宏观政策与商业模式的深度推演。

收藏83 天前

Grant Sanderson：AI与数学的未来

3Blue1Brown作者Grant Sanderson与Dwarkesh探讨AI在数学领域的进展。核心观点：AI解决IMO几何题靠暴力计算，但在组合数学和新概念发现（如猜想生成）上仍显不足。 AI可能擅长连接已有知识领域（如黎曼猜想中的随机矩阵理论），但缺乏爱因斯坦式的原创理论构建能力。这标志着从“解题”到“定义问题”的AI能力分水岭。

收藏91 天前

下一个重大突破将是 AI 在工作中学习

Dwarkesh Podcast 深入探讨 AI 从“环境模拟训练”转向“工作中持续学习”的技术路径。文章指出当前 RLVR 依赖可重复环境，难以覆盖政治、商业等稀疏现实领域。提出 On-Policy Self-Distillation (OPSD) 作为替代方案，利用长上下文积累的经验蒸馏回权重，解决样本效率与灾难性遗忘的矛盾。这对 Agent 架构演进有重要参考价值。

收藏92 天前

The data black hole at the center of AI

One definition of intelligence is sample efficiency - that is to say, how much data do you need to see in a given domain in order to operate fluently and competently. It’s not clear that we’ve actuall...

收藏102 天前

Ada Palmer – Machiavelli is the most misunderstood thinker of all time

收藏105 天前

样本效率黑洞：AI进步背后的数据真相

一个令人不安的核心观察：AI近年来的进步主要靠海量数据堆积，而非样本效率的真正提升。作者用"黑洞"隐喻——数据是AI能力中心不可见的引力源，将所有能力星系牢牢束缚在一起。对比触目惊心：人类一生约接触2亿tokens，而前沿模型训练消耗数十到数百兆tokens，差距近百万倍；青少年约20小时学会开车，Waymo和Tesla所需数据量高出3-4个数量级。作者逐一驳斥了三种常见辩护——"进化预训练说"（人类基因组只有3GB存不下参数）、"多模态数据说"（盲聋人同样具备通用智能）、"缩放定律说"（即使参数无限增加，Chinchilla定律表明数据需求仅能降低约10倍，远不足以弥合千万倍差距）。最后追问关键问题：AI虽能靠"火烤式训练"后服务于数十亿次调用来摊薄成本，但面对真正需要"分布外"思考的白领工作，尤其软件工程这类每天都在面对新问题的岗位，当前的样本效率瓶颈可能比想象中更致命。立论鲜明、论证严密，堪称样本效率议题近年来最有阅读价值的深度分析之一。

收藏113 天前

Alex Imas 与 Phil Trammell：AGI 之后还有什么稀缺？

核心看点：两位顶尖 AGI 经济学家展开了一场不空谈、不站队的高密度对话，直面一个被鸡汤化的问题——AI 替代一切之后，人类还有什么价值？核心矛盾在于：劳动力份额在过去两百年异常稳定（Kaldor 事实），但完全自动化的供应链正在逼近。Alex Imas 提出"关系型部门"假说：人们愿意为有人类参与的诊疗、教学、表演支付溢价，因为那是内在偏好而非人为稀缺；Phil Trammell 用"蒙古经济学家"思想实验反驳——14 世纪的蒙古人只能想到把多余的钱都花在歌手身上，但真实历史是种类爆炸让歌手份额始终微不足道，AGI 可能同样打开我们无法预见的全新品类。两人在关键分歧上坦诚：没有需求弹性数据就无法做可靠预测，预测市场比个体专家更可信。穿插 David Ricardo 两百年前的自动化焦虑、H100 租金反摩尔定律上涨、以及一个巧妙提问——为什么晶体管数量增长万倍但其占经济份额在下降？这不是科普，是给认真思考 AI 经济后果的人准备的硬核讨论材料。

收藏117 天前