人类级AI或于2032年前催生失控的超级智能
Redwood Research首席科学家Ryan Greenblatt预测AI研发自动化将在2031年实现，之后AI可能在一年内完成相当于GPT-3到Mythos五代的进步，2033年左右超越所有人类专家。Dwarkesh Patel对此持怀疑态度，认为人类专家数据可能是瓶颈。两人就AI对齐、奖励黑客行为是否会延伸到超级智能展开辩论。 
评论
点赞
收藏
更聪明的AI模型可能让算力价格上涨10倍
这是一段我上周撰写的一篇帖子的视频记录。如果你想阅读原文，可以前往 给你 查看。 感谢 水星 对本视频的赞助。水星的 内置 AI“Command”能够帮助我完成账目结算，并为我节省大量时间。每个月末，“Command”会对我的交易进行分类，并为每项选择提供理由：我只需仔细审核、修正任何异常情况并予以批准……随后，Mercury 会将所有信息同步至 QuickBooks。立即访问 开始使用吧。
未来几年算力成本为何可能暴涨 10 倍
我想尝试写一篇非常简短的博客文章，把写作时间限制在2小时内。我无法确定很多重要的子问题，但另一种选择就是在我感兴趣的很多不同话题上毫无进展。 今天我想谈谈未来几年实验室的计算状况。 人为收入同比增长了10倍。Anthropic年底收入可能达到~1亿至1.5亿美元。要让这一趋势持续下去，Anthropic必须在明年年底前实现100万美元的收入。没有什么深刻理由认为这一趋势必须持续，而且很可能不需要—... 
Adam Brown：深入浅出广义相对论
Google DeepMind 科学家 Adam Brown 详解广义相对论核心洞察：从惯性质量与引力质量的等价性出发，解释爱因斯坦如何突破牛顿引力超距作用，推导出时空弯曲。内容涵盖黑洞热力学悖论、不同参照系下的观测差异，以及 AI 能否在无实验数据下重新发现物理定律的哲学探讨。适合对理论物理和 AI 科学交叉感兴趣的读者。 
关于AI大问题的获胜征文：消灭疾病、国家策略与商业模式
Dwarkesh Patel公布AI征文比赛前三名获奖作品。Jassi Pannu提出OpenAI基金会应投资十亿美元级物理基础设施消灭空气传播疾病；Ege Erdil主张非AI供应链国家应坚持产权保护、低资本税等常识性政策以吸引资本；Michael Li用香港地铁模式类比，指出AI实验室可能通过收购互补资产而非直接服务获利。内容涵盖生物安全、宏观政策与商业模式的深度推演。 
Grant Sanderson：AI与数学的未来
3Blue1Brown作者Grant Sanderson与Dwarkesh探讨AI在数学领域的进展。核心观点：AI解决IMO几何题靠暴力计算，但在组合数学和新概念发现（如猜想生成）上仍显不足。AI可能擅长连接已有知识领域（如黎曼猜想中的随机矩阵理论），但缺乏爱因斯坦式的原创理论构建能力。这标志着从“解题”到“定义问题”的AI能力分水岭。 
下一个重大突破将是 AI 在工作中学习
Dwarkesh Podcast 深入探讨 AI 从“环境模拟训练”转向“工作中持续学习”的技术路径。文章指出当前 RLVR 依赖可重复环境，难以覆盖政治、商业等稀疏现实领域。提出 On-Policy Self-Distillation (OPSD) 作为替代方案，利用长上下文积累的经验蒸馏回权重，解决样本效率与灾难性遗忘的矛盾。这对 Agent 架构演进有重要参考价值。 
The data black hole at the center of AI
"We see these AIs as a galaxy glittering with capabilities, but at their center, invisible to the naked eye, holding all the constellations together, is an unimaginably massive black hole of data."
样本效率黑洞：AI进步背后的数据真相
一个令人不安的核心观察：AI近年来的进步主要靠海量数据堆积，而非样本效率的真正提升。作者用"黑洞"隐喻——数据是AI能力中心不可见的引力源，将所有能力星系牢牢束缚在一起。对比触目惊心：人类一生约接触2亿tokens，而前沿模型训练消耗数十到数百兆tokens，差距近百万倍；青少年约20小时学会开车，Waymo和Tesla所需数据量高出3-4个数量级。作者逐一驳斥了三种常见辩护——"进化预训练说"（人类基因组只有3GB存不下参数）、"多模态数据说"（盲聋人同样具备通用智能）、"缩放定律说"（即使参数无限增加，Chinchilla定律表明数据需求仅能降低约10倍，远不足以弥合千万倍差距）。最后追问关键问题：AI虽能靠"火烤式训练"后服务于数十亿次调用来摊薄成本，但面对真正需要"分布外"思考的白领工作，尤其软件工程这类每天都在面对新问题的岗位，当前的样本效率瓶颈可能比想象中更致命。立论鲜明、论证严密，堪称样本效率议题近年来最有阅读价值的深度分析之一。 
Alex Imas 与 Phil Trammell：AGI 之后还有什么稀缺？
核心看点：两位顶尖 AGI 经济学家展开了一场不空谈、不站队的高密度对话，直面一个被鸡汤化的问题——AI 替代一切之后，人类还有什么价值？核心矛盾在于：劳动力份额在过去两百年异常稳定（Kaldor 事实），但完全自动化的供应链正在逼近。Alex Imas 提出"关系型部门"假说：人们愿意为有人类参与的诊疗、教学、表演支付溢价，因为那是内在偏好而非人为稀缺；Phil Trammell 用"蒙古经济学家"思想实验反驳——14 世纪的蒙古人只能想到把多余的钱都花在歌手身上，但真实历史是种类爆炸让歌手份额始终微不足道，AGI 可能同样打开我们无法预见的全新品类。两人在关键分歧上坦诚：没有需求弹性数据就无法做可靠预测，预测市场比个体专家更可信。穿插 David Ricardo 两百年前的自动化焦虑、H100 租金反摩尔定律上涨、以及一个巧妙提问——为什么晶体管数量增长万倍但其占经济份额在下降？这不是科普，是给认真思考 AI 经济后果的人准备的硬核讨论材料。 
Reiner Pope – 从底层构建芯片设计
从基本的逻辑门开始，探索为什么 GPU、TPU、FPGA 和人类大脑各自具有特定的结构。 
关于预训练并行化和训练失败的笔记
该文章探讨了预训练并行化和训练失败案例的研究笔记，通过深度访谈揭示模型训练中的关键问题。 
RLVR 可能在科学上表现不佳
该文指出，理论验证周期可能长达数十年甚至数百年，而当前被认为更优的理论有时反而预测能力更差。这揭示了科学进步中的认知偏差问题。 
从零开始构建 AlphaGo：Eric Jang 的深度解析
Eric Jang 深入讲解如何用现代 AI 工具从零构建 AlphaGo，剖析智能的核心要素：搜索、经验学习和自我对弈。重点分析蒙特卡洛树搜索（MCTS）如何解决强化学习中的信用分配问题，并探讨其对 LLM 训练的启示与局限。同时讨论 AI 自动化研究的可行性，以及人类与 AI 在科研中的协作潜力。
大卫·赖克：为何青铜时代是人类进化的拐点
大卫·赖克探讨青铜时代如何成为人类进化的关键转折点，强调自然选择持续活跃。
Reiner Pope：LLM 训练与服务的数学原理
It's shocking how much you can deduce about what the labs are doing from a handful of equations and a blackboard
本周末我在想什么——更多未解之谜、智能与权力、科学的验证问题、达尔文主义的并行发现
这个周末我一直在想各种杂乱无章的事情。
关于 AI 重大问题的博客竞赛
这整个比赛的不那么秘密的目的是让我能雇佣一名研究员
黄仁勋：TPU 竞争、为何应向中国市场出售芯片，以及英伟达的供应链护城河
“如果我们未来几年规模达到万亿美元，我们有供应链来实现。” 