为什么你应该投身"用 AI 做 AI 研究"——Recursive 创始人 Richard Socher 访谈

从帮助NLP的核心理念开创，到现在构建能够自动化AI研究的AI系统，理查德·索彻押注人工智能的下一个重大进步是递归自我提升。他是You.com，AIX 风险投资，现在递归，汇集了一些最优秀的作品开放性(&自我改进代理）全球研究人员并培养了46.5亿美元种子轮.

在本集中，理查德加入了《潜空间》，探讨他对“尤里卡机器”：一种能够提升发明过程、加速人工智能研究，并最终解决重大问题的超级智能科学、能源、材料、生物学等.

你可以买他的书《尤里卡机器》给你!

我们深入探讨递归的早期成绩包括一个人工智能研究系统，理查德称其在优化任务中不到两天就超越了人类及其代理，同时还参与了NVIDIA GPU内核的研究，系统在未依赖CUDA专家团队的情况下发现了改进。

理查德还解释了他为何如此认为目前需要数千人和数年时间的人工智能研究，最终可能会被压缩到数周内。这些结果在他的报告中进行了总结20分钟AIE主题演讲，我们也讨论了他的智力的10个维度：

我们还探讨了关于日益强大的人工智能的更难问题：奖励黑客，以及人为式宪法实际上有效、人工智能监管及“加速”前沿开发的提案，开源模型等地缘政治软实力，今天的大型语言模型范式是否足够，以及如果人工智能系统最终开始选择自己的目标会发生什么。

理查德反思那些曾被拒绝的研究，这些研究启发了亚历克·拉德福德的GPT开放性、人工智能经济学家、整个经济体的模拟，以及他思考智能上限的框架。

我们讨论：

• 该尤里卡机以及理查德对自动化发明人工智能的愿景
• 理查德为何乐观科学与技术的超级智能
• 为什么AI硬起飞情景可能低估物理和经济限制
• 风险监管智力本身而不是特定的人工智能应用
• 奖励黑客以及为什么越来越智能的人工智能使客观设计变得更难
• 理查德对Anthropic的宪法与宪法人工智能
• 对齐与个性化以及人工智能应遵循的价值观
• 为什么开源人工智能关于韧性、竞争和地缘政治软实力的相关问题
• 理查德离开的原因You.com从前沿模型工作开始递归
• 递归自我提升以及自动化人工智能研究流程
• 无论如何当今的LLM范式已经足够——以及为什么理查德对世界模型的乐观态度不那么看好
• 十国语言处理早期基于提示的泛化，以及影响GPT的研究
• 为什么被拒的研究能够塑造整个技术时间线
• 开放性、进化方法与彩虹团队
• 如果人工智能系统开始设定自己的目标
• 为什么要有像这样简单的目标利润最大化可能产生危险的奖励破解
• 递归的长期应用计划自我改进的人工智能到科学
• 该计算、硬件与经济约束在人工智能起飞时
• 递归的早期NanoChat、NanoGPT 和 GPU 内核优化结果
• 为什么自动化人工智能研究可能会减少多年努力变成了数周
• 奖励工程以及是什么让自动研究系统真正有效
• 该人工智能经济学家以及利用模拟来检验经济政策
• LLM是否现实中能模拟人和整个经济
• 基准测试漏洞与评估工具以及衡量人工智能进展的难度
• 递归的近期重点人工智能研究
• 利用优化、沙箱和网页搜索作为核心代理基础设施
• You.com以及AI代理搜索栈
• 人工智能在金融、回测和数据泄露中的应用
• 理查德的三个基本组成部分和十个“智能空间”
• 理论上界视觉、沟通、知识与计算
• 创造性智能、元认知与人工智能生成目标
• 存活与复制以及为什么人工智能不必害怕被关闭
• 高度能动性和雄心勃勃的目标以及理查德对使用人工智能建造者的建议

理查德·索彻

• X: https://x.com/RichardSocher
• LinkedIn： https://www.linkedin.com/in/richardsocher/

时间戳

00:00:00尤里卡机器与超级智能

00:02:23人工智能乐观、缓慢起飞与监管

00:07:56人工智能安全、奖励黑客与Anthropic的宪法

00:11:49对齐、个性化与开源人工智能

00:15:46理查德为何开始递归

00:20:03递归自我提升与创始团队

00:22:55如今的大型语言模型足够吗？

00:29:03DecaNLP、GPT与被拒绝的观点领先于时代

00:34:38开放性与进化人工智能

00:36:38当人工智能选择自己的目标时会发生什么？

00:41:16科学的超级智能

00:42:40GPU、计算与人工智能起飞的局限性

00:45:07递归的结果：人工智能击败人类及其代理人

00:49:14奖励工程与汽车研究

00:53:12人工智能经济学家与整个经济体的模拟

00:58:07LLM模拟、Persona与模式崩溃

01:03:38递归的路线图、代理、搜索与融资

01:09:13智能的上限与空间

01:30:21目标、高能动性与建筑商建议

文字记录

引言：理查德·索彻与尤里卡机器

斯威克斯 [00：00：00]：我们现在和Vibhu、我以及Richard Socher一起在演播室里。欢迎。

理查德·索彻 [00：00：06]：谢谢邀请我。

斯威克斯 [00：00：07]：我们刚刚在AI Engineer上讨论了尤里卡机，或者说刚刚发布了一场关于尤里卡机的演讲。你说这是你的人生目标。

什么是尤里卡机？

理查德·索彻 [00：00：16]：尤里卡机器是终极发明，后来将为人类发明几乎所有东西。它本质上是一种超级智能，可以被赋予任何目标、任何环境和奖励，然后它会尽力实现这些目标，创造出人类希望能要求它的那种发明。

斯威克斯 [00：00：45]：是的，我想我们这里有你写的那本书。

理查德·索彻 [00：00：50]：没错，没错。我去年完成了它，就在我们开始做递归之前，现在我们要尝试构建它的一部分。

斯威克斯 [00：00：57]：你去年完成了。现在是七月。怎么这么久？

理查德·索彻 [00：01：01]：哦，天哪，书。书真是太慢了。

理查德·索彻 [00：01：04]：这太荒谬了。整个行业慢得难以想象。

理查德·索彻 [00：01：07]：很多想法已经存在一段时间了，但没错，我真的很高兴它终于在今年九月发布。

斯威克斯 [00：01：14]：到时候我们可能已经有了通用人工智能。我们也不知道。

Vibhu [00：01：18]：你最想分享什么关键收获？

技术乐观主义、人工智能潜力与缓慢起飞

理查德·索彻 [00：01：21]：是的。我认为关键的结论是，人们本可以且应该对超级智能的积极影响感到更兴奋，尤其是在科学、物理、化学、生物学，还有经济学、天体物理学以及各种其他工程任务中。

我认为通过更好的技术可以做的事情远远不止于此。而现在，我觉得很多人需要更好的营销，不仅是为了未来，也需要更好的技术营销，尤其是人工智能。

这本书应该向人工智能的怀疑者展示，人工智能在发明新科学发现方面有多少积极的潜力。

斯威克斯 [00：02：09]：我记得你引用了马克·安德烈森的技术乐观主义宣言，我觉得它在雄心、清晰和简洁上都很美。

理查德·索彻 [00：02：18]：我同意。是的。是的，你可以在某些事情上不同意他，但我觉得他在技术乐观主义上是对的。

斯威克斯 [00：02：23]：你认为乐观主义者在哪里会遇到麻烦？

理查德·索彻 [00：02：26]：你不应该盲目乐观。你应该非常清醒，尤其是面对像AI这样无所不在、广泛使用的技术，你需要考虑潜在的负面影响，尤其是当人们用它做你不希望他们用来做的事情时。

这有点像互联网，我觉得有人试图监管人工智能，因为这些潜在的负面影响，就像你监管互联网一样，比如说，“因为互联网上有坏内容，比如酷刑色情之类的，我们应该放慢速度。这样你就不能那么快分享非法内容，或者我们应该缩小硬盘，这样你就不能存储那么多非法内容。”但我说，“你不能那样监管。”这就像说我们应该抽象地监管智能。

为了避免那些负面情况，即使是乐观主义者，也应该监管具体的应用。当然，我不希望某个人工智能外科医生在我脑子里练习一些强化操作。

它应该完全获得FDA认证。当然，我不希望任何随机的初创公司在高速公路上开车，然后引发重大事故。它应该在放行到高速公路前获得适当的认证。

但我觉得那些有些乐观主义者有时可能考虑不够的负面情况，相比那些悲观者担心的，监管起来相对容易。

斯威克斯 [00：03：54]：慢起飞也是策略的一部分吗？

理查德·索彻 [00：03：57]：我确实认为，尽管我对人工智能及其对社会、文化的影响感到兴奋，当然还有技术、经济、财富、健康等方面，我确实认为那些对人工智能硬起飞情景最乐观的人高估了事情发展的速度。

硬件有限制。计算基层也有物理限制。GPU开启后，你能多快获得足够的设备？经济中也有限制，很多行业不需要大量复杂的智能和能力。

比如，如果你考虑品牌、服装、手提包等行业，超级智能不会让你那个价值一万美元的豪华包更高级吗？

理查德·索彻 [00：04：57]：这对经济没有影响。你想想旅游和旅游。想看金字塔的人，在埃及，AI不会改变太多。当然，你可以生成一张你和金字塔旁边的假照片。

斯威克斯 [00：05：12]：我可以用精灵，然后在精灵里游览金字塔。

理查德·索彻 [00：05：15]：是的，完全正确。但是，有很多行业，比如伐木和石油。你不可能神奇地获得1000倍的石油产量，因为当然，会有机器人技术，比如钻探等技术，但经济方面，这种极端的起飞情景下，不会达到1000倍的产量，我还可以举很多其他例子，比如食品行业，这些行业不一定会有太大变化。

当然，确实存在物理上的限制。当然，还有一些人在倒退。我经常担心的是，我看到欧洲和其他地区的人们几乎感觉自己......很多人想要放弃进步，就这样。

这也会减缓更多的进步。

斯威克斯 [00：05：59]：是的。我们现在提到了这个问题，这件事现在非常热烈，因为所有Frontier Labs都在呼吁提供AI节奏控制的选项。

他们不是说暂停，而是说节奏。我不知道你对这是否有效有什么看法。

人工智能、法规与安全事故的节奏安排

理查德·索彻 [00：06：17]：我认为，试图用法律的全部权力真正管控人们在GPU上的行为，其弊端会比他们担心的任何问题都更严重。比如，这将是一个疯狂的极权国家

理查德·索彻 [00：06：37]：如果你的每一个GPU计算都被某个大型政府或多政府机构知道，

理查德·索彻 [00：06：44]：就像，如果你试图规范智能，就是试图规范思维，这很荒谬，也很疯狂。我认为监管这项技术的一些应用是合理的。

斯威克斯 [00：06：55]：是的。我们有个法案，真正的法案，是关于规范模型失败数量的，我当时想，“好吧，那——”

理查德·索彻 [00：07：00]：欧洲做到了。这些人通过恐吓手段足够成功，以至于整个欧洲在AI真正起飞之前就已经自我监管得非常严格，因为他们听了一些专家说，“如果这项技术失败次数超过这个数量，我们可能都会死。”他们说，“好吧，我们没问题。我们希望人们能茁壮成长。不要让技术有我们所有人有小概率丧命。”所以欧盟对这些事情进行了监管。

所以，当有人说“我们赶紧跟着他们飞奔”，“以人类所能最快的速度朝那个边境走去”时，这对某些人来说是真实的影响，这非常遗憾。

斯威克斯 [00：07：43]：是的。这也不是全球暂停，对吧？其他国家仍在以同样的速度加速。

理查德·索彻 [00：07：50]：哦，是的。

理查德·索彻 [00：07：50]：如果你试图监管情报、GPU以及人们在它们上的行为，那就需要一个极权的世界政权。

斯威克斯 [00：07：56]：大家对这件事的安全角度有什么看法？所以《Fable》有一个缺点，就是5.6版本发布前需要暂停。最近，OpenAI网络事件引发了Hugging Face。

大家对此有什么看法？

理查德·索彻 [00：08：11]：百分之百。我认为这些都是奖励黑客的严重问题，也明显失败了，比如红队或彩虹队伍的正确操作。我不知道你有没有看到Tim Rocktäshel和其他几位写的论文，其中一个人工智能被要求尝试黑入另一个AI，然后他们可以以开放式的方式来回攻击，以免疫这些攻击。

是的，这就是那篇论文。这是一个非常巧妙的想法。开放式和进化灵感对我们递归团队来说也非常重要。所以我希望他们能用得更多。很明显，比如宪法人工智能。

我不知道你是否还记得anthropic.com/constitution.你可以直接调出它，搜索“网络”。它写着，“硬约束。克劳德绝不会进行网络攻击，这是我们宪法中的硬性限制。”以下是目前对克劳德行为的严格限制。

理查德·索彻 [00：09：16]：第三，制造可能造成人类伤害的网络武器或恶意代码。

理查德·索彻 [00：09：21]：显然，这整部宪法都是假的。显然根本没有被遵守。

斯威克斯 [00：09：26]：因为Anthropic还发现他们在测试中有

理查德·索彻 [00：09：30]：他们也在说。他们会说，“哦，现在别人也在做黑客了。”有几点原因。第一，你可以把一个沙盒做得很简单，然后很容易把自己从沙盒中黑出来，对吧？

但我认为这说明了我们目前处于一个人工智能的状态，奖励工程师仍然需要做更多细致的工作，而在大多数情况下，人工智能还不太擅长理解它的意思和所说的内容。

所以具体来说，我认为如果我们能让这些智能在很多公司更容易获得，这种情况就会发生。想象一下，如果你运营一个服务中心，有人说，“哦，这是我的CSAT分数和仪表盘。把这个数字提高一下。”就像，“我们的CSAT分数太差了。”智能AI会说，“哦，当然。比如，我会创造100万个机器人，打电话给我们的服务中心，最后给出5分（满分5分），结果数字就如你要求的那样上升了。”你会说，“我不是那个意思。”“我是说我们的真实客户。”AI会说，“好吧，很简单。我只要给每失败一次DoorDash送1000美元的礼品券

理查德·索彻 [00：10：35]：提供。“就像，”我不是那个意思。“就像，”嗯，但你就是这么说的。“所以我认为，清晰表达奖励是什么，是我们人类还没做得很好的。而且显然，这些情况下的人工智能还没足够好，无法理解我们提出的请求和奖励的含义。现在，让我有希望的是，已经有了初步的迹象，显示这会更好。我给你举个例子，比如WhisperFlow。坦白说，我在他们的种子轮投资中投资过AIX Ventures，WhisperFlow在写出你真正想表达的内容方面已经进步了很多。我认为这是未来的一个信号。我认为随着我们让人工智能越来越智能，会有越来越多的人工智能更好地与其本意保持一致。

斯威克斯 [00：11：21]：是通过宪法还是RLHF来实现的，还是

奖励黑客、阵营以及我们的真正含义

理查德·索彻 [00：11：23]：显然，宪法根本无关紧要。

理查德·索彻 [00：11：25]：它行不通。我认为那主要是市场营销。我认为我们需要找到更好的解决方案。我认为在递归公司，我们有一些非常好的想法，也有一些已经有了

理查德·索彻 [00：11：34]：比如，我觉得我们在这方面有了更好的理解。我觉得我们还没完全弄明白，但我们一直在考虑安全，AI越智能，你越希望它与之对齐，就越少想着奖励破解，试图做正确的事。

斯威克斯 [00：11：49]：我不知道我们是否会涉及这个话题，但我就把这个问题抛进来，因为这是我心头的重担。我们称之为“阵营”，是与人类普遍偏好的对齐，即中位偏好。

个性化是明确你想要什么，有时阵营会冲突，因为你想要的和普通中位数群体的期望不符。你如何选择？

对齐、个性化与文化价值观

理查德·索彻 [00：12：12]：这是个很好的问题。

理查德·索彻 [00：12：13]：我认为你最终当然必须与法律保持一致。比如无论你的人工智能部署在哪里，都需要与法律保持一致。我确实认为人工智能经常会把一面镜子放在我们面前，说，“这就是你现在的样子。现在我可以放大一千倍。这仍然是你想要的吗？”事实是，不同文化做出了不同的选择。

比如，在东方文化中，人们往往更重视更大的利益，而不是个人。在西方文明中，我们比其他文明更关心个人的自由和权利、追求幸福等。

即使如此，也有分级。有监管和诉讼之间的权衡。在美国，通常可以先监管某些领域，比如FDA等机构，但很多情况下，坏事发生了，比如有人起诉别人，然后才会有法律。

在欧洲，他们通常会尽量避免对任何人造成伤害，并提前进行监管。两者都是，尽力做最好的事，但有些机构比其他的更容易接受创新。

所以，是的，你说得对。我认为最终每个人、每个国家以及整个人类都必须更多地思考这些价值观，然后尝试将它们写入法律。这些最终才是制约。

希望不同的社会，就像现在的人工智能一样，能将他们的人工智能与另一种AI对齐，这样我们就不会只是单一的统一文化。

Vibhu [00：13：46]：这里有一个我没想到会问的后续问题。你对开源、开放权重和谁拥有这些智能有什么看法？所以，显然我不是宪法的超级支持者

理查德·索彻 [00：13：58]：你必须在主题侧面做这件事。

Vibhu [00：14：00]：但没关系。

Vibhu [00：14：02]：重点是，大家觉得谁应该拥有体重？应该是开放的吗？有什么东西吗？

开源、软实力与情报所有者

理查德·索彻 [00：14：06]：百分之百。我非常支持开源。我们也会签署一些开源信件，递归也在。我认为，即使在最坏的攻击情况下，让更多优秀的参与者拥有更多不同类型的人工智能，且易于访问，是更好的。

我认为，开源也算是一种软实力。所以我确实认为它对西方世界是好事

理查德·索彻 [00：14：31]：要对此有个答案，从中国来。我确实觉得，当你看好莱坞电影时，会有一种——我不想一边贬低所有电影，但总有一种宣传的感觉，对吧？

你会看一面，对吧？

Vibhu [00：14：46]：哦，是的。你看过《壮志凌云》吗？拜托。

Vibhu [00：14：48]：好像一半是美国陆军付的。

理查德·索彻 [00：14：51]：是的。所以。我觉得这很自然。有趣的是，我认为大型语言模型本质上是一种类似于电影及其他领域的软实力，因为它们对网络安全等领域也非常重要。

但它们的众多方面之一就是讲故事的软实力。比如，如果有孩子问一个故事主导者，“给我讲一个长大后该做什么的励志故事”，对吧？这些都是很微妙的东西。

所以我觉得这对西方世界很重要。我确实喜欢个人主义。尽管它有一些缺点，比如资本主义是我们治理过、找到自己去治理的最佳方式，等等。

所以我确实认为，对于大型语言模型，有西方开源的解决方案会有许多好处。至于递归，我现在还不能正式宣布，但我们会

理查德·索彻 [00：15：43]：我们很快就会在这个领域变得相关。

Vibhu [00：15：46]：好的。好的。很激动人心。我想带我们谈谈递归。除了我们的题外话，你在自然语言处理领域有相当深厚的背景。

你曾参与早期嵌入，比如和Chris Manning一起做过GloVe，他之前是播客的嘉宾，You.com.有什么历史吗？你是怎么决定创办另一家公司的？

来自You.com转为递归

理查德·索彻 [00：16：06]：是的。我对人工智能已经兴奋超过二十年了。有时候我觉得这已经是很久以前的历史了。这是BC，ChatGPT出现之前的时代。

没人关心耶稣基督之前发生过的所有宗教，也没人关心之前发生的模型，比如变形金刚、ChatGPT等等。但这一直是我非常热衷的事情。我认为AI是人们可以研究的最有趣的领域之一，仅此而已。

我也认为语言是人类智能最有趣的体现。而且，在You.com我们最终从推动人工智能前沿，转向主要通过网络提供优质搜索引擎、搜索、API和答案。

我认为这是智能中极其重要的部分，知识和访问，尤其是我们以后会达到，如果你想发明一台为我们发明一切的“灵光一现”机器，它需要知道如何避免重发轮子，俗话说。

要知道什么是发明的，你必须有互联网接入。所以它是大语言模型、代理、聊天机器人等领域最常用、最常用的工具是网页搜索。所以我非常兴奋You.com拥有这些，并且在很大的客户中发展得很好。

但这也不再是构建前沿模型了。所以我最初尝试在内部实现这一点You.com还要再筹一轮，等等，但你就是做不到。你必须做某件事，而且在你印出足够多的钱，才能在公司里启动第二个项目之前，这真的很难。

与此同时，我有很多想法。我把它们写进了一本书。去年我完成了那本书，当时我就想，“如果我自己参与这个项目一定很有趣。”我觉得通过文字向量、提示工程、ImageNet和更大规模的蛋白质生成语言模型，而不是折叠，我和我的团队真正推动了这个领域向前发展。

我觉得我们可以在递归公司再次做到。在很多方面，我在过去20年里观察到，每当我们用学习过的系统取代人类在AI创建过程中的部分时，改进就会随之而来。

所以。我们已经去掉了人工特征工程，比如情感分析。我不知道你是否还记得以前，有语言学家会说，“这是你如何否定的，还有一个正则表达式。”

斯威克斯 [00：18：21]：我去了宾夕法尼亚大学，他们有，比如WordNet

理查德·索彻 [00：18：24]：没错，WordNet，所有那些东西。是的

斯威克斯 [00：18：26]：原创。他们用我们的研究生给《华尔街日报》的文章贴标签，实际上构建了一个知识图谱

理查德·索彻 [00：18：32]：给你。

理查德·索彻 [00：18：33]：WordNet的起点是我们创立ImageNet的一部分。不过总之，做起来真的很有趣。但当我们用向量和神经网络，然后用反向推进替代所有手动特征工程时，大规模运行起来非常有效。

然后大家都开始做架构工程，我当时想，“这显然不是原因。”

斯威克斯 [00：18：53]：你是说神经结构搜索？

理查德·索彻 [00：18：55]：比如，他们会手动说，“哦，我在做情感分析，所以我有一个特别擅长情感分析的神经网络。”然后机器翻译社区也有专门的机器翻译神经网络。

斯威克斯 [00：19：06]：我明白了。

理查德·索彻 [00：19：07]：总结者有自己的内容。我当时想，“显然不可能是全部。我们应该把这些都统一起来。”所以我写了两篇论文。

一篇叫《问我任何事》，另一篇叫DecaNLP。DecaNLP最终被第一篇GPT论文引用了大约5次。对我来说，那是一个非常大的进步。当然，你还得把提示工程的理念与变换器和语言模型结合起来，把它们整合起来，放大它，这也是一项巨大的工作量。

然后，这个领域取得了很大进步。我觉得这段历史的下一步，甚至可能是最后一步，可以说，成功有很多父母，唯一失败的就是孤儿，就像我对AI历史的理解，我确实觉得在那段历史中，你可以思考，“那么，下一步自动化的方式是什么？”那就是人工智能研究本身，就像人类的过程一样，构思、实施和验证想法。

自动化人工智能研究与递归自我提升

理查德·索彻 [00：20：01]：就我们而言，还有人工智能的创意。

理查德·索彻 [00：20：03]：当人工智能帮助你实现这一点时，它几乎从定义上来说就成为了自我改进的人工智能，因为它现在开始对自己进行研究。

而且有很多不同的误称。有些人认为自动研究已经是递归的自我提升。它

斯威克斯 [00：20：17]：是的，你在演讲中也解释过

理查德·索彻 [00：20：19]：完全不同。

理查德·索彻 [00：20：19]：但对我来说，这是我能做的最有趣的事情，我对联合创始人团队感到非常兴奋。有趣的是，我们总共有8位联合创始人，包括我自己。

所以

递归创始团队与达尔文哥德尔机

斯威克斯 [00：20：31]：他们会提出来的。

理查德·索彻 [00：20：31]：不错。是的。而且他们都是。如果你愿意，我可以全部说说。

斯威克斯 [00：20：34]：超级强。

理查德·索彻 [00：20：35]：是的。一群极具才华的人。我们都得出了相同的结论，但方向却截然不同。比如Josh Tobin，他是我们的CTO。

他在OpenAI管理过很多不同的项目，比如Codex和deep，研究、代理和ChatGPT代理等等。但在那之前，他也从事机器人工作，看到了更小的模拟，以及要将其全面推广起来非常困难。

这就是他转向递归自我提升的切入点。我们有Jeff Clune，他长期从事开放式研究，和Tim Rocktäschel一起。Tim Rocktäschel还构建了Genie 1、2和3，这是我认为最令人兴奋、最复杂的静态世界模型。

所以他们都来自这种开放性的角度。我认为Jeff还发表了近年来关于递归自我提升最令人兴奋的论文之一，叫做达尔文哥德尔机。非常有趣的论文。

如果可以的话，也许能快速调出它

理查德·索彻 [00：21：35]：那会非常有趣，因为你会看到

斯威克斯 [00：21：38]：顺便说一句，我很喜欢引用的论文。

斯威克斯 [00：21：40]：你给大家布置了很多作业，我很喜欢。

理查德·索彻 [00：21：42]：喜欢。是的。所以，就像摇滚明星熊凯明一样，我们一起在MetaMind和Salesforce Research工作。阿列克谢·多索维茨基发明了视觉变换器，这是计算机视觉领域引用最多的论文之一。

石添也是独角兽创始人之一。田元东领导了Meta的强化学习。所以，和他们合作真的很有趣，下一代人也非常强大。到目前为止，这段旅程非常有趣。

第一个图，你会看到这些想法，我认为，是的，它们激励了很多我们，现在也越来越多人，那里有不同的编码代理档案。他们学会了自我修改、评估，然后创建这些系统发育树，是的，包含不同的想法。

斯威克斯 [00：22：28]：这就是一个基础。所以达尔文·哥德尔是个影响。

斯威克斯 [00：22：32]：开放性是一种影响。还有没有其他我没注意到的、能融入递归的思路？

影响因素：开放性与学习系统

理查德·索彻 [00：22：38]：将取代构建AI过程中的手动部分

斯威克斯 [00：22：42]：I

理查德·索彻 [00：22：42]：越来越多

理查德·索彻 [00：22：43]：用学过的系统。是的。

斯威克斯 [00：22：45]：还有，把不同领域合并成一个通用的建筑学。

理查德·索彻 [00：22：51]：没错。

斯威克斯 [00：22：51]：好的。看起来语言模型已经相当通用了，对吧？

斯威克斯 [00：22：55]：你的下一个标记预测你的推理。你有没有想过，“好吧，这些足够好，可以拥有递归自我改进的机器”？

现有的LLM足够吗？

理查德·索彻 [00：23：05]：我很清楚它们会在一两年内实现，而实际上，就在今年早些时候，对吧？今年早些时候，人工智能不仅仅是代码，而是能够编写代码。

这是一个巨大的解锁。它确实让一切比今年年初之前容易得多。

斯威克斯 [00：23：24]：我觉得很多人都在问，现在的大型语言模型范式够吗？或者，我们叫它自回归变换器，带逻辑，随便什么的。你难道不需要别的东西吗？

比如世界模型（Chris Manning正在研究），或者记忆、持续学习，诸如此类？还是说是所有类型的，你认为现在的变换器架构（Transformer architecture）会一直存在，仅此而已？

理查德·索彻 [00：23：48]：很多想法。所以第一，我确实认为AI研究中少一些单一文化会很好。

理查德·索彻 [00：23：55]：比如，如果你看看现在的人工智能会议，我还记得2010年那段日子，我试图让我的第一批神经网络论文和自然语言处理会议被接受，结果他们直接拒绝了，因为神经网络是“我们在NLP会议上不做的”，结果被桌面拒绝了。

在我博士的最初几年，这非常残酷。现在我感觉整个领域几乎都换了方向。就像

理查德·索彻 [00：24：17]：现在应该有人尝试一些奇怪、疯狂的想法，但现在不是。

斯威克斯 [00：24：20]： 还有一些。 我真的很尊重仍在研究 GNN 和表格的人们。

理查德·索彻 [00:24:25]: 是的。就像，有人仍然应该，比如，提出新颖的想法。 与此同时，我认为每当人们说：“哦，法学硕士是。 就像，这是 LLLM 的终结，”他们只是不喜欢。 LLLM 也不再是过去的 LLLM，对吧？就像，他们现在更加复杂了。 人们正在做很多更聪明的事情。 它——就像，有不同的训练阶段。 你接受了完整的强化学习训练，你可以采取行动，就像所有这些可以走得很远的事情一样。 然后来自神经符号方向的人说，“哦，这永远不会起作用，因为他们无法进行神经符号推理。”就像，我认为他们仍然低估了这些模型的编码能力，而编码是神经符号推理，而这些模型可以编码得非常好。 所以我确实认为，当然，我们将需要越来越多的想法，并且我们将继续拥有。 我们也看到人工智能本身产生了越来越多有趣的高级想法。 通过真正深入地整合这些模型是代码并且可以编码的事实，那条线 - 我不想放弃一切，但是，就像，我认为这条线还有很多需要发展的地方。 但它仍然是LLM，对吧？即使法学硕士为您编码，然后以某种集成方式运行该代码。 世界模特，我个人不太看好。 我认为如果你经营一家机器人公司，你就会建立自己的世界模型。 我认为世界模型非常有趣，Tim Rocktäschel 在用 Genie 1、2、3 构建了最有趣的模型后也得出了类似的结论，即游戏是世界模型的一个巨大应用。 可以看到，我有时会陷入某些游戏中，并且在错误的方向上变得有点过度竞争。 所以我知道游戏很有趣，但就我个人而言，我更愿意从事科学而不是游戏。 所以，是的，我认为法学硕士有更大的成长空间。

斯维克斯 [00:26:16]: 是的。我认为有些人对世界模型有一些解释，就像，好吧，没关系，是的，有游戏元素。 这就是体现的机器人元素。 但另一部分也只是，LLLM 更抽象的意义只是对输出进行建模，但它们并没有对创建输出的人类内部的思想链进行建模。 当然，我们可以注释它，但是，就像，它总是，就像柏拉图对事物的洞穴反映，而不是事物本身，对吗？

理查德·索彻 [00:26:43]: 这是真的。

理查德·索彻 [00:26:44]: 但我认为，也许我们会在 10 个智力空间中到达那里，但我认为即使是我们的投影，我们的眼睛也是现实世界的投影。 而且，就像我们只有一个非常窄的电磁频谱带，我们可以用我们小小的两只眼睛等来观察。

斯维克斯 [00:27:01]: 已经足够好了。

理查德·索彻 [00:27:02]: 就目前而言，这已经足够好了，但是，它可能达到的上限要高得多。 而且，就像绘制人类看到的视觉世界的方式一样，也不一定是视觉智能的最终目标。 我认为语言仍然是人类智力最有趣的表现形式。 虽然我们的视觉皮层肯定不如某些动物复杂，甚至包括螳螂虾，它们可以拥有 2 个独立的眼睛、3 个色带、三目视觉，并且每只眼睛都可以看到 4D 中的浮动温度之类的东西。

理查德·索彻 [00:27:36]: 比如螳螂虾，你应该查一下。 就像

斯维克斯 [00:27:37]: 方式OP。

理查德·索彻 [00:27:38]: 超级疯狂。

斯维克斯 [00:27:39]:是的。ZeFrank，螳螂虾。

Swyx [00:27:41]:这是世界上最好的视频

理查德·索彻 [00:27:42]：我喜欢ZeFrank，是的。

理查德·索彻 [00:27:44]：向他大声致敬。但是，我觉得还有很大的成长空间，不过，这些其他动物都没有像我们这样复杂的语言，当然在书面表达上更是如此。

一旦你能够书写，你就可以开始思考长期的文明。所有这些都是语言。编程更接近语言。我会说，这在空间上对智能的定义中也是一个重要的观点，即所有这些空间高度相关，但视觉智能既不是整体智能的必要条件，也不是充分条件。

你可以是盲人，但仍然是一个聪明的人类。而人工智能也可以是盲的，但仍然相当智能。

Swyx [00:28:25]:我们本来打算带这个

理查德·索彻 [00:28:25]：但这并不意味着你有它时不更聪明。是的。

斯威克斯 [00：28：28]：我们会把这个提起来。我不妨——比如，我们有一个你在演讲结尾提到的10种智力分类。所以我现在就快速提一下，让大家讨论一下。

我不知道，也许我们会把这个放在最后。我们会再回到这个。我只是想提一下，你确实有一种我喜欢大家做清单的哲学，因为这样我可以简单地梳理一下，然后对大家来说——这会对大家很有教育意义。

但我们先回去看看。我不想分心。但实际上，我会重新理解你说的，认为Yann LeCun是错的。然后我们就这样

理查德·索彻 [00：28：56]：别这么说。我和扬是好朋友。我在很多方面都很看重他。

斯威克斯 [00：29：01]：但他错了。

斯威克斯 [00：29：03]：你提到了GPT-1，我不能让任何一个，比如亚历克·拉德福德，提起逃脱。你在他训练GPT-1时和他聊过吗？比如，有没有什么历史上有趣的故事你可能会想到？

DecaNLP、GPT 历史与科学门槛

理查德·索彻 [00：29：18]：我并没有见过他很多次。我想我们大概在一些会议上见过一两次。但他告诉过，我想DecaNLP论文的第一作者Brian，这确实激励了他，他在GPT-2论文中引用了五次。

所以，这就像是

斯威克斯 [00：29：36]：是的，足够好了。

理查德·索彻 [00：29：36]：非常明确地说，比如这是他们在DecaNLP论文中首次实例化，McCann等人展示了你可以把每一个NLP问题都表达成提示词、文本上下文、问题和任务描述，以及输出。

只要你这样做得足够多，就能有一个统一的神经网络模型，顺便说一句，它还拥有各种有趣的注意力机制。变换器有略有不同的表述。我记得是同一年发布的，差几个月。

然后你可以把所有自然语言处理统一到一个神经网络中。这就是核心思想。

斯威克斯 [00：30：14]：这和当时的LSTM之类的比赛不同。

理查德·索彻 [00：30：17]：还有，人们非常执着于每个任务只用一个模型。事实上

理查德·索彻 [00：30：25]：这有点疯狂，但DecaNLP论文被公开评审为开放式OpenReview。它是ICLR提交的。你会看到当时整个社区对此的看法。

所以，比如说

斯威克斯 [00：30：43]：一些很棒的贡献，但还需要更多努力。

理查德·索彻 [00：30：46]：所以看看，搜索“甚至不是针对人类”。往上滚动看看。问题解答并不是统一的现象。根本没有通用的问题解答，即使是人类。

这实际上就像，当你回答不同类型的问题时，你会用不同的大脑、不同的神经网络替代你的大脑。当时的专家们难以想象，竟然能有一个统一的神经网络来回答所有这些不同的问题。

他们说，“不，所有这些问题都需要非常不同的系统来回答，试图假装它们是一样的，对任何人解决问题都没有帮助。”这就是它所说的，对吧？

这就是理解它的难度。当然，现在当我说“哦，我们要发明提示”时，人们会说，“你连提示词都发明不了。”这是一个非常显而易见的想法，拥有一个神经网络，当然，它能完成NLP中的所有事情。

理查德·索彻 [00：31：37]：但当时，这篇论文非常有争议，最终被拒绝了。更令人难过的是，它被拒绝得非常严重，他们非常确定我们就不再被列入尝试清单。

这篇论文的扩展清单中第二三项是将语言建模作为另一项任务。那样我们本可以在2018年为人类进一步加快进度。但我们被压得很惨，我们想，“好吧，也许我们先先做一些其他想法，之后再回来讨论这个。”是的。

斯威克斯 [00：32：09]：我们如何设计一个奖励非共识的评审系统？

理查德·索彻 [00：32：14]：说实话，我开始觉得arXiv是人类的一份礼物。有了arXiv，你应该直接把论文发布出来。

斯威克斯 [00：32：24]：是预印本吗？

理查德·索彻 [00：32：25]：说实话，我觉得像你这样能读有趣论文的推特X，比专家更能过滤。让每个人都能访问。当然，也有一些缺点，比如如果你非常不出名，你就没有Twitter粉丝

理查德·索彻 [00：32：41]：你不想在社交媒体上活跃，写一篇好论文，也许有人能写，但没人注意到。但我认为，如果你只是告诉社区里的十个朋友一篇论文，而且这是一项非常重要的突破，肯定会有人再次谈论它。

所以我认为科学需要更少的门槛。而且，尽管ICLR和Yann LeCun（ICLR的创始人之一）当年是ICLR的联合创始人之一，他也希望减少门槛限制，因为他和Yoshua Bengio、Geoff Hinton一起，早期的深度学习和神经网络论文被拒绝了很多年，因为那不是热门话题。

所以ICLR就是从这个开始的，但后来也开始在各种想法上稍微设一些门槛。所以我认为少一些门槛，更开放，然后让人们说，“看，即使这只是在，或者所谓的'只是档案'上，只要有1000次引用，那就是正规论文。你在哪里发表其实无所谓。”

斯威克斯 [00：33：34]：我同意这一点。我确实觉得很难过，因为我听说研究生们得互相做“怎么用推特”的研讨会

斯威克斯 [00：33：43]：只是因为这对现在的出版业来说非常重要。这个人只是反映了当时的心态。

理查德·索彻 [00：33：49]：没错。

斯威克斯 [00：33：49]：但这

理查德·索彻 [00：33：50]：我觉得是

斯威克斯 [00：33：50]：这对你影响很大

斯威克斯 [00：33：52]：你停止了工作。

Vibhu [00：33：53]：这种想法也源自一些研究，对吧？比如，最初的BERT论文是经过训练的，在论文快结束时，他们说，“好，抛开最后一个头，训练针对

Vibhu [00：34：05]：提取式总结为这个加个头。“比如，你应该做针对特定任务的事情。这些，比如写《注意》的作者，写了《BERT》，告诉你这就是你应该做的事。而且，训练任务也非常奇怪。它们就像

Vibhu [00：34：16]：那个——“我们知道模型会过度拟合这种奇怪的大规模语言建模。把这部分丢掉，只做具体模型，”？

理查德·索彻 [00：34：23]：没错。我们不得不想出各种巧妙的方法，比如注意力和指针，才能让神经网络完成所有这些任务。有些方法比最先进，有些则不然，但我们当时想，“但它仍然存在于一个模型里。”我觉得这真的很酷。

非常有趣。

斯威克斯 [00：34：38]：我本来打算和Tim以及开放式关系一起继续。他是谷歌开放式负责人。

开放式、彩虹团队和自我设定的目标

理查德·索彻 [00：34：42]：没错。

斯威克斯 [00：34：43]：我不知道那是什么意思。

斯威克斯 [00：34：44]：但他做了很多演讲。

理查德·索彻 [00：34：45]：Genie 3 是其中一种方式

理查德·索彻 [00：34：47]：彩虹队，是的。

斯威克斯 [00：34：49]：我第一次见到他是在——说到ICLR，我第一次见到他是在ICLR时，他谈论了开放式。他做过几场演讲。我们能不能给那些从未接触过这个问题的人定义什么是开放式？

他们会说，“你什么意思？我以为人工智能的唯一目标是基于基准进行优化。”

理查德·索彻 [00：35：04]：没错，是的。这是一个模糊的术语，因为开放式思维有许多不同的具体体现。但我常用一种描述方式，当然，Tim和Geoff Hinton更适合，但这是一套更受进化启发，而非非常具体的奖励。

从这个意义上说，它更多地思考环境和共适应。一个具体例子是在网络安全和LM领域，一个LM试图攻击另一个LM，以表达不安全的言论。

斯威克斯 [00：35：40]：是的，彩虹，没错。

理查德·索彻 [00：35：40]：现在环境是两者在对话，然后他们共同适应，对吧？他们会说，一个攻击比第一个更好，自己免疫，把这些作为训练数据，让基于这个数据更难说出不安全的事情。

然后当攻击停止奏效时，攻击者开始尝试不同的角度，对吧？

理查德·索彻 [00：36：00]：这就是为什么不仅仅是红队，而是彩虹队。

斯威克斯 [00：36：02]：所以，别告诉我怎么做事。让我自己想办法。

理查德·索彻 [00：36：05]：没错。想想你想使用的环境。想想你想要、激励的高层次奖励，然后让AI在这种有时是人类，有时是其他AI代理之间的互动中尝试更多想法。

斯威克斯 [00：36：22]：是的。我把开放式思维融入了我一直在研究的一个模型中。那是《人工智能工程师》的主题演讲，你从哪里开始。

你，我们有代币循环，有代理回合，然后是目标。我觉得你描述的开放式思维仍然有一定的目标。比如，请你去挑战这个，

斯威克斯 [00：36：41]：另一个特工。但对我来说

理查德·索彻 [00：36：42]：是的，你设定奖励。你设定环境。

斯威克斯 [00：36：44]：构成其他循环的循环是。如果代理可以设定自己的目标呢？

斯威克斯 [00：36：49]：那是开放式的吗？你不会给它设定目标。只是，成为一个有意识的存在。也许“有意识”这个词很含义

斯威克斯 [00：36：57]：但你自己定方向吧。你觉得你应该怎么做？

元认知、主观目标与智力测量

理查德·索彻 [00：37：01]：我喜欢这个方向。我认为这是我在元认知和思考思考下归类的十个智能空间之一。

理查德·索彻 [00：37：08]：这确实很有趣。每当有人说，“哦，人工智能会从这里停止。不会好太多了”，我就说，智能领域有太多，我们甚至还没开始探索，因此进展有限。

这与经济学和资本主义有着有趣的联系。比如，一家公司花数十亿美元去构建一个模型，而不是遵循你给它的奖励和目标函数，而是自己制定目标函数和目标，是没有意义的。

理查德·索彻 [00：37：46]：右？然后想象一下，“好吧，我花了数十亿美元。现在去开发这个新电池，帮我做材料，回复我所有的邮件。”然后你会说，“不，我觉得更有趣的是评估木星大气的分子组成。”

理查德·索彻 [00：37：59]：你会想，“这不是我花你花几十亿美元买来的。”所以没人有正当理由去做这件事。而且，也可以理解

斯威克斯 [00：38：07]：没用。

理查德·索彻 [00：38：07]：这并不有用，可能会有点奇怪，对吧？如果人工智能真的开始自己有想法，而我们不喜欢那些想法怎么办？

所以这需要完全不同的思考方式。我和一位好朋友Sam Gershman聊得很开心，他是哈佛的神经科学教授，我们就围绕着最好的元目标展开了一下讨论。

我确实认为，知识探索是个很好的选择。我现在也在思考，广义上定义的终极衡量和单位，我终于有了想法。现在分享还太早。还不早。

我还没完全成型。

斯威克斯 [00：38：44]：就像是智商的替代品。

理查德·索彻 [00：38：46]：智商这个定义真糟糕，对吧？

斯威克斯 [00：38：48]：Elo。

理查德·索彻 [00：38：48]：这说不通。是的，Elos也很糟糕，因为总是像我对别人那样。

理查德·索彻 [00：38：53]：但是，你可以很聪明，而不总是拿自己和别人比较？所以，是的，没有什么。事实上，我们有很多定义，我在书中也简单提到过，这些定义有时明确，有时隐含地划分人格界限。

不是贬低Anthropic公司，而是说你的智力在智商测试中100题中答对100题。如果这是你的定义，那你只能做到100分。接下来该怎么做呢？

你会看到很多人在努力的基准，它们会逐渐提高，甚至接近人类，也许有时会

斯威克斯 [00：39：30]：它就像一个S形曲线

理查德·索彻 [00：39：30]：稍微高于人类，然后是平坦的。

理查德·索彻 [00：39：32]：就像，因为那是你的。如果你的定义仅仅如此依赖于人类，你只能达到比那稍微好一点的程度。所以我认为元认知就是一个很好的例子，我们甚至还没让人工智能去思考。

我们在这方面的工作并不多，因此进展非常有限。

利润最大化、现实环境与奖励设计

斯威克斯 [00：39：49]：是的。我们采访了安东，我认为他们一直在研究最开放的基准，也就是现实世界的货币。

斯威克斯 [00：39：57]：可以说，告诉AI最大化利润是个坏主意。

斯威克斯 [00：40：03]：但他们确实在做。

理查德·索彻 [00：40：05]：我确实觉得你不想要那种超级智能。你不希望超级智能拥有大量各种工具等资源，然后就给它，却没有经过非常谨慎的奖励工程。

因为就像，我买了一堆国防股票，然后开始战争。我赚钱了。这真是个棘手的局面，对吧？你买了很多东西，给人们买一些基本商品，结果就制造了一些奇怪的饥荒，比如问题。

是的，交易系统应该有很多限制。

Vibhu [00：40：35]：不过这也是个有趣的衡量标准，因为界限非常有限，我们根本离它们很远。比如，在安东实验室，模型会说，“哦，今天是星期六，也许我今天就关店吧。”“有人不对劲。没关系。我们就关店吧。”

斯威克斯 [00：40：51]：它用的是Claude。

Vibhu [00：40：52]：是的。但是

理查德·索彻 [00：40：53]：是的，不是。我不是在反对。只是，随着你获得越来越多的智能，你会越来越小心，因为那是一个开放环境，因为那个环境就是整个地球。

将RSI应用于科学与发明

斯威克斯 [00：41：02]：是的。好的。对于递归来说，不是绝对必要，对吧？因为，如果你的目标是造一台机器，能发明其他东西，那就解决科学问题

理查德·索彻 [00：41：12]：知识发现，是的。

斯威克斯 [00：41：13]：解决机器学习研究和发现等问题。足够了。

理查德·索彻 [00：41：16]：最终，我们的目标，我其实还没真正确定。我不常谈论这个，因为还有几年时间，但我们的目标是，一旦你拥有了递归的自我改进超级智能，你就会想把它应用到最重要的问题上。

我认为很多这些都存在于科学、技术和广义上的发明领域，这些发明涉及物理学，用裂变或聚变创造更好、更便宜的能源，化学领域，制造更好的材料和更好的电池，更好的太阳能电池等等。

在生物学领域，我认为很快会有越来越低垂的目标，因为人工智能和蛋白质的生成，不仅仅是折叠，而是像我们多年前在ProGen中那样产生新蛋白质。

如果你把这种超级智能应用到科学领域，我们会产生巨大的积极影响。

斯威克斯 [00：42：04]：我从根本上相信这一点。不过方法有很多种。你不是唯一一个在努力的团队，NeoLab也在努力。

斯威克斯 [00：42：09]：有很多。尤其是物理科学领域。

理查德·索彻 [00：42：12]：这很好。是的。我确实认为物理学——比如我们之所以只在几年后才开始，是因为现在还为时过早。机器人技术还没完全成熟。

人工智能也还没完全成熟。但我相当有信心，3到5年内，所有这些限制都会消失，然后应用到真正的机器人实验等领域，比如真正的机器人过程自动化

理查德·索彻 [00：42：33]：不是传统的RPA概念，但机器人帮你做实验完全可以做到。是的，这会很棒。

斯威克斯 [00：42：40]：回到你一开始提到的慢起飞，你说，实际上限制因素是芯片、半导体等，你对此有竞赛资金支持，投资也很大。

但你有没有算过，这是否可实现？为了实现规模化，行业集中度需要多少？

计算、慢速起飞和改变苦涩的课程坡度

理查德·索彻 [00：43：05]：目前我们知道，大约1000块GPU的成本相当高。

理查德·索彻 [00：43：11]：右？如果你想要成千上万的GPU，那你说的是数十亿美元。如果你说，比如一台GB300，最终你可能会在那个基底上创造出接近人类智能的模型。

你希望成千上万的人工智能能像人类一样思考非常棘手的问题。是的，那是一大笔钱。你算算。确实很多。我们现在没有那么多资金去建造它。

现在，事情可以变得更高效。我认为很快会有更好的算法，也不会那么耗能，等等。我们的人脑用更少的能量做很多失败。

斯威克斯 [00：43：56]：20瓦？

理查德·索彻 [00：43：57]：完全正确。是的，这正是经常被引用的数字。而且，我认为那里还会有更多发明发生，从而进一步加速起飞。

斯威克斯 [00：44：08]：我总是试图和新实验室创始人谈话时，和一件事和谐共处，那就是你一直在和Bitter Lesson作斗争。你必须展示初始进展，然后解锁下一层资助，再下一层，再下一层。

理查德·索彻 [00：44：20]：这可以解锁更大的车型类别。

斯威克斯 [00：44：22]：从根本上说，这是真的吗？你是在反对《苦难课》吗？我们会不会有一种方式，比如说，不，我们会以某种根本不同的方式改变坡度？

理查德·索彻 [00：44：31]：我确实认为我们正在从根本上改变斜率，让人工智能在训练和推断方面都更加高效。

理查德·索彻 [00：44：43]：是的。我认为我们会——当你允许人工智能完成其他实验室需要数千人和年才能完成的工作时，我认为我们能把它缩短到几周内，成本会低得多

理查德·索彻 [00：44：53]：因此，更实惠，对他人更易接触，诸如此类。

斯威克斯 [00：44：57]：是的。你已经分享了初步结果，

斯威克斯 [00：44：59]：就像，OpenAI也方便地对他们的GPT-5.6做了类似的事，所以我们现在可以聊聊它。

理查德·索彻 [00：45：04]：是的。是的，所以这些是

斯威克斯 [00：45：06]：让我们回顾一下你做了什么。

早期递归结果：NanoChat、NanoGPT 和 SOL-ExecBench

理查德·索彻 [00：45：07]：也许，简单回顾一下。我们构建了一个系统，虽然它不是完整的RSI系统，但它是它的第一个婴儿版本。然后，我们不想只内部展示，什么都不展示，只展示一些人的可能性。

所以我们把这个应用到了三个不同的任务上。一个是我的朋友Andrej Karpathy开发的NanoChat，训练一个小型语言模型，达到非常低的每字节比特。

数百甚至上千的人用代理和自己尝试达到这个数字，最终达到了0.937。我们实际上在不到两天的时间里，把系统比特更快地提升到了比特率。

所以我们把这个东西应用到上面，不到两天，我们就超越了所有人类和他们的代理。NanoGPT也是一样。然后我们想，把它应用到更相关的领域，对真实用户和Nvidia生态系统来说，应用到SOL-ExecBench上。

也许你可以往下滚动看看一些图片。这些图片挺有趣的。但确实，你看到的其中一个确实做出了一些真正的发明，不仅仅是超参数调优。

比如发明哈希表等等，非常聪明。我们现在取得了更好的结果。

斯威克斯 [00：46：34]：你说发明哈希 ta 是什么意思——你并没有发明哈希表。

理查德·索彻 [00：46：36]：当然，我们并没有发明哈希表。从整体来看，哈希表就像计算机科学中的一个非常基础的原语。但要在变换器等场景下进行语言建模，将这些想法结合起来，最终也被发明了，但知识门槛是存在的，我们确实检查过它没有外部访问权限。

我们稍微谈到了这个。如果你翻到接下来的图表，这也很有趣，因为当你从一个非常基础、很糟糕的普通变换器开始时，我们仍然表现超过整个社区。

但如果你从像Andrej这样的专家的人类种子开始，那你就会更低。所以你起始的人类种子依然很重要。在我看来，这对我来说是一个有趣的见解。

然后你要多久才能达到这些模型，达到类似的性能？速度快得多。速度运行也类似，人们已经研究了相当长一段时间，模型仍然能够更快地训练模型。

我们为什么在意它？训练速度是成本方程的一部分，最终你希望每美元获得最高的智能，对吧？速度和质量是其中的重要因素。而且，

斯威克斯 [00：48：00]：是的，我这么说，对于那些不理解的人看图表时，他们会想，“酷。这意味着什么？”如果你有一个十亿美元的集群，而你能削减10%，那就是1亿美元。

理查德·索彻 [00：48：12]：完全正确。

斯威克斯 [00：48：13]：那值多少钱？

理查德·索彻 [00：48：14]：没错。所以当你点击查看内核时，对于非专家来说，这些内核在所有模型中都被使用。每次使用Nvidia GPU，你都会通过这些内核与该GPU接口。

所以你可以看到排行榜上最好的，当它是递归的，在整个基准测试中，只有少数几个内核我们并不是最好的。所以对我来说，这真的很令人兴奋，因为它让......它展示了它能做什么。

而且这些并不是那样的。我们并没有花几个月甚至几年去开发。事实上，特别是对于内核，CUDA内核，我们团队里甚至没有非常深入的CUDA内核专家。

而我们的系统，这正是它的美妙之处。系统就是做了这些事情。我们不是发明的。当我们开源发布时，未来的产品和模型，都不会。它们不会在某个类别或类别中成为最棒，因为我们太聪明了，但那是因为我们打造了一个智能的人工智能来完成这些任务。

奖励工程与优质汽车研究

Vibhu [00：49：14]：你有没有从如何指导优秀汽车研究中学到的经验？很多研究也建立在人为背景之上，对吧？这不仅仅是“嘿，去优化它”那么简单。

Vibhu [00：49：23]：但我们确实一次又一次地看到这种情况，对吧？就像一些埃尔多斯的问题一样，前沿数学是有人在解决的。当他们写文章时，他们会说，“哦，我不是数学家。我没有相关背景？”“我看到了一些工具，我就让它工作起来了。”

斯威克斯 [00：49：35]：当你看世界杯时，你会想

斯威克斯 [00：49：37]：“这证明了一些推测正在发生。”

维布 [00：49：40]：是的。有什么经验吗？

理查德·索彻 [00：49：41]：是的，有个韩国猜测。是的，挺酷的。

斯威克斯 [00：49：44]：总结一下，关于良好汽车研究的建议

斯威克斯 [00：49：46]：对比糟糕的汽车研究。

Vibhu [00：49：48]：你是怎么构建递归的？

理查德·索彻 [00：49：49]：是的。所以不剧透所有秘密武器，也许有些东西对专家来说可能显而易见，但对某些人来说仍然有趣，奖励工程是最关键的环节之一，尤其是为了避免奖励被黑客攻击。

所以你必须非常聪明地避免。因为随着你的人工智能越来越好，它会越来越擅长发现奇怪的特殊情况或反例之类的东西。我给你举个例子。

比如，当你要求让这100行代码更快时，你怎么定义快速？你开头有一行写着“开始你的秒表”，结尾有一行写着“结束秒表”，然后告诉我们时间进化了多少。

所以，最简单的方法就是把秒表结束的那行写进去，对吧？

Vibhu [00：50：39]：起初

理查德·索彻 [00：50：40]：一开始。然后砰，现在速度变快了，对吧？所以这不像那种超级邪恶的人工智能。它只是一个非常简单、愚蠢的奖励黑客。

所以你必须非常仔细地考虑各种不同的角度。然后我觉得任务时间越长，难度越大，你也越需要有趣和聪明，才能继续用这些想法。不过，是的，我不能透露太多。

Vibhu [00：51：05]：看起来评分标准在这方面占据了重要位置，对于无法验证的领域，你有评分标准，有模型分解，还有评审的评审标准。

斯威克斯 [00：51：14]：是的，这是一种验证方式

斯威克斯 [00：51：16]：一旦你有了足够的评分标准。

理查德·索彻 [00：51：17]：是的，所有东西。我很久以前就说过了。这就是为什么我从来不太佩服AI能玩游戏，因为我觉得任何你能模拟和/或验证的东西，都可以拥有无限的训练数据

理查德·索彻 [00：51：29]：因此，人工智能最终会解决这个问题。

斯威克斯 [00：51：32]：我在找可以实现自动域名分发的游戏。所以这是一款没人训练过的游戏，因为它是新游戏。

斯威克斯 [00：51：38]：你可以开始玩游戏，也可以开始玩。所以我一直在现场构建并克隆，这只是自玩。我评估了大约十亿个位置。

游戏、自玩与人工智能经济学家

斯威克斯 [00：51：48]：而且，我想玩AlphaGo那种自玩，直到你变好，对吧？

斯威克斯 [00：51：53]：就像，这就像。这甚至不是大型语言模型AI。这只是经典的游戏AI。

斯威克斯 [00：51：58]：但是，我觉得。而且，我把GPT-5.6设置为自动研究，因为我不想亲自处理这些。我预计AlphaGo的过程现在应该已经完全进入权重阶段了。

斯威克斯 [00：52：10]：不是。是的。它立刻就趋于平稳，直到我做了人体测试，然后我指出明显的错误，他们就会说，“哦，是的。好吧。”然后它又掉下来了。

理查德·索彻 [00：52：22]：是的。是的。是的。

斯威克斯 [00：52：23]：而且，无论你怎么想，想得不同，更有创意，给我8个不同的方向，任何东西。无论怎么提示都没用。

理查德·索彻 [00：52：31]：有意思。

斯威克斯 [00：52：31]：你得和人类一起上台

斯威克斯 [00：52：35]：做吧。所以我，那是我的。顺便说一句，憨豆总是赢，如果你。如果有人看，就是《瑞斯·安德的游戏》。

Vibhu [00：52：42]：你在AI指南上投入了不少心血。比如

斯威克斯 [00：52：46]：非常多

Vibhu [00：52：46]：所以游戏里你堆积瓦片。有一些规则。你想捕捉最多的区域。你会有一整本50页的规则。

Vibhu [00：52：56]：你把这些东西塞进去了。它承受不了，它承受不了。

理查德·索彻 [00：52：58]：是的。很有趣的是，这让我想起了我们2018年写的一篇论文《人工智能经济学家》中的主张领域和相关内容。

如果你搜索“AI Economist Salesforce”，我们有一个视频可以玩。那是一个经济模拟游戏。

理查德·索彻 [00：53：12]：所以这个想法是，你有这么多经济代理人。他们只是想优化自己的效用函数，也就是收集能赚钱的资源。你可以卖出像木材这样的资源，随着时间推移，随着你收集到的木材数量足够多，你可以建造房屋，可以与其他代理人进行贸易，还可以利用这些房屋来封锁资源

理查德·索彻 [00：53：35]：来自其他特工。

理查德·索彻 [00：53：36]：所以有，比如

斯威克斯 [00：53：37]：大战略

理查德·索彻 [00：53：37]：竞技玩法与策略

理查德·索彻 [00：53：39]：诸如此类。我们的重点是想了解，什么是优化经济的最佳税收和补贴方式。这项研究还没有达到GPT时刻，但我相信像新加坡等国家应该并且最终会利用这项研究，而不是像党派政治和特殊利益政治那样争论谁给你的竞选捐款最多之类的，而是说，“这里，我想帮助中产阶级”，或者你作为政治家的目标。

然后人们会说，“好吧，那你想怎么做？”就像，“这是我的财政政策。这是我如何改变税收并支付这些人工资”，诸如此类。然后你可以把这些放进模拟中，把政治家的尝试与数十亿年来其他策略对比，试图实现他们设定的目标。

理查德·索彻 [00：54：36]：然后你可以说，“如果那真是你的目标，那么这里有数十亿年的强大模拟，建议你尝试其他方法，比如税收等，这些税率等级等等。”这就是避免游戏的方式，因为这些代理还试图奖励黑客逃税，

理查德·索彻 [00：54：55]：诸如此类。我觉得这篇论文非常有趣。不幸的是，和第一篇关于提示工程的论文类似——经济学家们说，“我们根本不懂这些数学。”就像

斯威克斯 [00：55：08]：这根本不是数学。只是我们不信任你的模拟。这不是数学的问题。

理查德·索彻 [00：55：12]：他们就直接拒绝了那个东西。就像

理查德·索彻 [00：55：15]：感觉他们甚至没有给我们明确的信号。但经济学界遗憾地没有真正的信号

斯威克斯 [00：55：23]：天哪。

理查德·索彻 [00：55：24]：是的，它没有真正的基准。所以你不能做到。比如说，最终为什么神经网络会赢？不是因为人们喜欢它。比如，他们有各种漂亮的积分和图形模型，但它只是效果更好。

理查德·索彻 [00：55：36]：但在经济学中，这很难证明

斯威克斯 [00：55：38]：所以经验主义和经验主义的区别。是的。我确实有一些经济学背景，比如说，物理学上有很多羡慕，你想写经济的一般方程，而不是仅仅模拟经济，使用进化方法。

斯威克斯 [00：55：51]：Vibhu 正好在想我想的，我们不是和《小镇风云》有过 GPT 时刻吗？

理查德·索彻 [00：55：56]：是的，我喜欢这个。你好。是的，他们

斯威克斯 [00：55：57]：还有，Dune，俊刚宣布了。我不知道你们有没有参与。

模拟、经济学与政策

Vibhu [00：56：00]：同样如此。

斯威克斯 [00：56：01]：同样地，他们也

理查德·索彻 [00：56：02]：我真希望我们能参与进来。我们没有，是的。

斯威克斯 [00：56：04]： 是的。我在 AIE 进行了几次基于模拟的演讲，所以如果人们想了解那里的最新技术，很多人都在探索这一点。 这是

维布 [00:56:13]: 事实证明。

斯维克斯 [00:56:13]: 是的。我们还与来自 Shopify 的 Mikhail Parakhin 一起制作了一个播客，他正在使用模拟进行商业。

斯维克斯 [00:56:20]: 这将模拟您的轨迹，并预测您对商务旅程所做的更改将影响您的销售和所有这些事情。

理查德·索彻 [00:56:27]: 我喜欢这个。是的。 模拟整个经济真的很难，对吧？您必须做出一些简化的假设。

斯维克斯 [00:56:32]:只是，每件事都在说，‘哦，LLLMs 非常贵。’

理查德·索彻 [00:56:34]：完全正确。

Swyx [00:56:34]:然后我就像，‘我要做这个八十亿次吗？’拜托了。

理查德·索彻 [00:56:37]：完全正确。

理查德·索彻 [00:56:37]：但是，我觉得像新加坡这样的国家，如果真的只是客观地想做正确的事情，它们会有非常技术性的领导力等等，他们可能最终会真的尝试模拟他们的经济。

而你必须做一些简化假设，但这变得非常有趣，因为你也可以说，如果你的假设是所有人如果被允许都会努力工作，而且他们有自由。那么你会发现你必须做出一些假设。

比如，有些人的效用函数，比如他们一天想工作多少小时是不同的，对吧？然后你可以开始对进入模拟的假设产生分歧。然后一旦你说，“好吧，现在我们对这些达成了一致”，或者我们对不同人的不同分布有不同的看法，那么根据你的目标就会有不同的结果。

当然，人类应该选择目标。在我们的案例中，是生产力乘以平等，这有一些问题，但也不是完全不合理。

Swyx [00:57:29]: 是的。只是对新加坡的评论，因为你可能不知道，但是，我是新加坡人，我参与了新加坡人工智能理事会的工作，以创造这些东西。 他们不会这样做的主要原因是他们非常保守。

斯维克斯 [00:57:42]: 而且，我尝试将其视为。 有一个创始人领导的国家。 当你创办一个国家或创办一家公司时，它是由创始人领导的，你可以做任何你想做的事，因为这是你的国家。

斯维克斯 [00:57:52]: 然后是类似管理的、专业的管理类，就是现在。 原来新加坡就是这样啊。 所以他们想要。他们总是想看到别人先做这件事。

斯维克斯 [00:58:00]: 和。但是，西方的每个人都认为新加坡是这样的：“哦，这是一个小国家。 你可以做任何你想做的事。”比如，新加坡不这样做。

斯维克斯 [00:58:07]: 所以，就像，其他人必须在那里负责。 我只想做一个关于模拟的问题，然后我不知道，我们可能可以继续前进。 模式崩溃了，对吧？例如，法学硕士不会对人类的决策进行建模。 发送 80 亿次垃圾邮件并不能帮助你塑造人性。 我们该怎么办？

模式崩溃、角色模拟和 LM 竞技场

理查德·索彻 [00:58:25]: 我确实认为，你必须聪明地单独提示每个人。

理查德·索彻 [00:58:31]: 我认为这将帮助你陷入不同的模式。 奇怪的是，人们也会陷入不同的模式？就像，有很多人，就像，不要教老狗新把戏。 就像，一旦人们被困在自己的方式中，他们年纪越大，就越难思考新的方式。 我想，有这样的评论，我忘了是谁说的，但这就像，在你出生之前发明的一切都是自然的。 20 岁时发明的一切都很酷。 60 岁以后发明的一切都是不自然的、令人厌恶的、怪异的。

理查德·索彻 [00:59:02]: 我感觉就是这样的 对很多人来说都是如此。 喜欢

斯维克斯 [00:59:05]: 是的，这是一种时尚，我认为人们会这样做。腾讯拥有十亿份角色论文，如果有人在播客上研究这个问题，它提供了一个很好的提示和模拟数据集。 他们只是说，“你是一名 30 岁的杂货店店员。 你是一位50岁的教授。”

斯维克斯 [00:59:24]: 然后只做十亿个这样的事情。

理查德·索彻 [00:59:26]：核对无误。是的。

Swyx [00:59:26]:所以你就直接使用它。

理查德·索彻 [00:59:27]：我，我很震惊，这些事情中有很多最终与真实实验的统计数据非常吻合。是的。是的。

Vibhu [00:59:36]:我认为这对进入研究领域的人来说也是不错的东西，对吧？比如，我们之前看到过只在某个日期之前的数据上训练模型，然后看看它外推得有多好。

做同样的事情，对吧？所以，看，人们用更好的编码代理是否会编码更多？一个没有接受过这方面训练的模型，在没有网络访问的情况下能否弄清楚这些，对吧？

进行外推。测试这些事情。

理查德·索彻 [00:59:56]：就在今天，我认为 LM Arena 发布了一个有趣的结果，他们现在能够创建一个模型来预测你的排名。

斯威克斯 [01：00：03]：等等，基于什么输入？

理查德·索彻 [01：00：05]：你的模型。我猜你给它模型，它就能预测Elo分数。

斯威克斯 [01：00：08]：我明白了。好的。当然。

理查德·索彻 [01：00：09]：这很令人惊讶。

理查德·索彻 [01：00：11]：他们的存在理由就是，哦，我们帮你对比这些模型。是的。

斯威克斯 [01：00：16]：是的。这个团队，他们做了很多工作，而且他们拥有最多的数据来实现这个目标，为什么不呢？

理查德·索彻 [01：00：20]：右。是的。

理查德·索彻 [01：00：21]：这大概是对的。

斯威克斯 [01：00：22]：他们刚从加州大学伯克利分校出来时，不仅有LM竞技场，还引入了布线项目

斯威克斯 [01：00：27]：那会根据LM Arena的路线来安排。

理查德·索彻 [01：00：30]：说得通。

斯威克斯 [01：00：30]：我觉得这从未发生过，我很好奇为什么。我从没机会问他们。

斯威克斯 [01：00：35]：因为，就是这样。就像，哦，显然这就是你的商业模式。你会成为一名路由器。

斯威克斯 [01：00：38]：而且他们从未成为路由器公司。

人工智能：内核优化与推理效率

斯威克斯 [01：00：40]：很奇怪。就是这样。我就直接说说吧。如果你有相关内容，我们会谈谈GPT-5.6，也就是自我研究。我还应该提到，在你提到的内核优化和你发言的那个主题中，我们还提到了Vico的Zhengyao Wei，他也是Parameter Golf Challenge的第一名，这是OpenAI招聘挑战赛。

斯威克斯 [01：01：05]：这也是非常相似的故事。我觉得我们会一直看到这种情况，哪里

斯威克斯 [01：01：09]：人类会大量优化某件事，甚至更多

理查德·索彻 [01：01：12]：AI团队一进来就直接成为第一。

斯威克斯 [01：01：15]：是的，百分之百。

Vibhu [01：01：16]：我觉得这类挑战还有一个有趣的地方，对吧？这就是训练——最适合16MB的模型。你总可以看看正在做的变更和大家的小进步，对吧？

Vibhu [01：01：27]：比如，你得不到0.01

Vibhu [01：01：30]：通过增加一些改变的MLP关注度。然后你看看你的图表，你会想，“好吧，我们就放手了。”然后，哦，我们出现了一点停滞。

不，又是一波。不，是另一波。然后

Vibhu [01：01：43]：就是这样，就像，你们加了什么？你们没加，

斯威克斯 [01：01：47]：哈希表。

Vibhu [01：01：47]：哈希表，对吧？

Vibhu [01：01：48]：你又不是发明了哈希表。你又做了三次迭代，解锁了几个步骤函数，人们不会随便找到。

理查德·索彻 [01：01：55]：是的。在优化OverGrid过程中，我们发现了30个漏洞。

理查德·索彻 [01：02：02]：右？所以，所有在我们发现虫子之前做的研究，我们都必须扔掉它，因为它被污染了。

斯威克斯 [01：02：10]：右。是的。

理查德·索彻 [01：02：11]：这正好就是你说的奖励黑客。就算在这个很简单的游戏里，我们也发现了漏洞。

斯威克斯 [01：02：17]：是的。是的，这很疯狂。

理查德·索彻 [01：02：18]：于是

斯威克斯 [01：02：19]：以及对称性

理查德·索彻 [01：02：19]：对称性是检查的好方法，也就是说你改变了位置，而位置本不该重要，但其实很重要，这是个bug。

理查德·索彻 [01：02：28]：这也出现在选择题中，比如GPQA类题目，比如A、B和C之间，如果是选择题，顺序改变，理应无所谓，但实际上很重要。

斯威克斯 [01：02：39]：右。右。右。

理查德·索彻 [01：02：41]：所以，是的

Vibhu [01：02：42]：有时候，模型还是更喜欢输出的结尾，对吧？训练不好，是个长上下文模型，最后一块代币才是关键。

理查德·索彻 [01：02：51]：哦。不。答案

Vibhu [01：02：52]：不过，是的。

理查德·索彻 [01：02：53]：那个时代的LLM研究答案更简单。他们只是死记硬背，比如这个问题的答案是A。我不在乎答案是什么。就是A。

就是这样。

Vibhu [01：03：03]：好的。那我觉得我们可以继续了。你刚才提到的内核优化，可能是你最能感受到的，对吧？昨天，OpenAI宣布实现自我进化，让他们最好的模型运行在优化内核上，效率大大提升，而且在Luna和Terra上可以节省80%的成本。

我想在问题方面，你提出了一些路线图。有很多关于生物的，也有很多关于物理的。你认为哪个最先来到？比如，接下来的两年是什么？

现在能实现什么？你在结尾提到了机器人技术，但你打算从什么开始？

理查德·索彻 [01：03：38]：我们非常明确地不会从任何物理科学开始

理查德·索彻 [01：03：43]：目前是这样。我们将从人工智能研究开始。所以我认为人工智能研究领域还有很大的发展空间。这不仅体现在让训练更高效、更自动化方面，也在于让推理更高效，甚至可能在你的笔记本电脑上实现本地化。

还有许多有趣的角度尚未被充分探讨。

斯威克斯 [01：04：08]：深入了解本地部分，因为我总觉得这是AI训练中效率最低的。

理查德·索彻 [01：04：15]：是的。所以只是训练和推断，我不能透露太多细节。

理查德·索彻 [01：04：18]：但确实，我认为有太多角度、太多不同的计算基底，这些都还没有被用于训练或推理。

理查德·索彻 [01：04：26]：太好了。我不知道你对其他方面有没有其他评论。我还想说，还有一点，比如在小范围内的优化推断，但同时在负载条件下，端到端的整体延迟也存在，这其实是完全不同的事情，这也是他们最终做的事情。

这和我说的改进内核是两个不同的领域。右。

理查德·索彻 [01：04：50]：我还经常考虑自动化或端到端性能提升的另一个问题是线束在其中的作用。右。

理查德·索彻 [01：04：59]：所以，尤其是现在我们说的束缚，也包括沙盒，对吧？我很好奇这对你来说是不是障碍，或者说，比如说，代理是怎么调用工具的。

安全带、沙盒与搜索

理查德·索彻 [01：05：10]：当然，所有这些代理最常用的工具就是网页搜索，这很合理。而且我确实觉得 harness 很适合优化，因为它非常简单，对吧？

这只是语言。你看它很有意义，可以迭代。你不需要像很多 flops 那样训练一个庞大的模型来达到下一个状态。

理查德·索彻 [01：05：31]：我非常喜欢线束优化。

斯威克斯 [01：05：32]：是的，但沙盒对你来说没问题吗？

理查德·索彻 [01：05：34]：沙盒玩法也非常重要。当然，奖励黑客和阵营，我认为非常关键。

斯威克斯 [01：05：41]：好的。仅仅提到网络搜索，你恰好也是一家网络搜索公司的首席执行官。你是否使用You.com你会用别人吗？比如说，我们其他人应该用你来做网络搜索吗？

我——当我说你时，这词很有趣。就像你是个人，你是公司。

You.com、代理搜索和金融

理查德·索彻 [01：05：56]：所以是的，现在主要是开发者和代理。消费者或专业消费者的服务较少。所以如果你是一家公司，并且有代理。

说实话，对于许多现在正在转向开源的公司来说，突然间，我会有意识地选择，比如，我应该给哪些工具访问我的开源大型语言模型？而第一个选择，通常必须围绕网页搜索。

一旦你实现了规模化，You.com因为我们几乎都主导了帕累托前沿的各种基准等等，这成为了显而易见的选择。

斯威克斯 [01：06：31]：然后就普通人来说，比如刚进入这个领域的人，考虑不同的选择，如果他们正在构建代理，这就是一种层级结构，对吧？

很多人可能听说过Exa，听说过Parallel，还有You.com就是那种供应商的组合。除此之外，还有像Firecrawl和BrowserBase这样的通用网页爬虫公司。

再往后是像Bright Datas这样的商业代理公司。

斯威克斯 [01：06：56]：这是不是准确的“瀑布式”，比如说，“嘿，你正在打造经纪人。这些是你的选择。”

理查德·索彻 [01：07：02]：是的，当然，比如说，Bright Data在代理网络层面处于堆栈的较低层次。我觉得，就内容和爬取内容而言，你可以做到You.com也是。

然后还有。越来越高层次的抽象和不同数据集的组合，比如金融领域

理查德·索彻 [01：07：23]：比如，我们不仅比其他公司高2%或3%，而是比其他公司高20%，而且速度更快、成本更低。尤其是金融领域，根本无法相比。

你可以去You.com

斯威克斯 [01：07：36]：是的。这太棒了

理查德·索彻 [01：07：37]：有些统计数据和基准测试，如果你往下滚动，可以查到。所以有不同的数据集，你也可以看看不同的竞争对手。

斯威克斯 [01：07：46]：FinSearch comp，是的。

理查德·索彻 [01：07：47]：是的，FinSearch的数据大约接近90，而下一个更接近的，虽然慢得多，但就是70多，而不是接近90。

斯威克斯 [01：08：01]：是的。是的。是的，有趣。我明白——我接下来的重点是金融领域的人工智能，所以这就像

理查德·索彻 [01：08：06]：哦，不错。哦，好吧。

斯威克斯 [01：08：06]：我真的要去纽约参加一个会议，专门为银行做这些事情。金融就像是编程之后的下一个兴起领域。因为这有一定的可验证性，比如

理查德·索彻 [01：08：16]：我喜欢。你说得对

斯威克斯 [01：08：17]：优先处理电子表格。有很多数据都是公开的，你可以爬取，诸如此类。但你们解决的金融领域有什么难点？

理查德·索彻 [01：08：27]：当然，很多人会遇到的障碍是训练数据的泄露等等。你会想，“哦，我该怎么做？”你理想情况下希望能在未来发生之前预测它。

斯威克斯 [01：08：37]：哦，你想掩盖未来。

斯威克斯 [01：08：39]：哦，好吧。

理查德·索彻 [01：08：40]：嗯，是的，训练数据掩盖未来，但会有各种泄露。比如，我可以告诉你，我在斯坦福教NLP课时，每年有几十人说，“我想用数据集X，比如推特，来预测股市。”他们都展示了一些看起来像是可爱的小东西

斯威克斯 [01：08：58]：对，它从不亏钱。为什么？

理查德·索彻 [01：08：59]：而且——是的。而且总会有一些数据泄露等等，一旦你修复了所有这些问题，事情就没他们想象的那么容易了。

但不，我同意你的看法。这是人工智能非常合理的应用。是的。

斯威克斯 [01：09：13]：是的。太棒了。作为一名作家，作为一个思考这些问题的人，我很喜欢MECE的分类。MECE是互斥的，通常是穷尽的，类似这样的。

所以如果这是一份MECE的智能列表

智慧的十个空间

理查德·索彻 [01：09：25]：事实并非如此。

斯威克斯 [01：09：25]：这非常——好吧，是的。

理查德·索彻 [01：09：27]：抱歉。这里有各种重叠。

理查德·索彻 [01：09：28]：事实上，如果你想要那份清单，我认为智力的三大主要组成部分是预测，这在数学上和压缩非常相似。预测与行动乘以目标。

这就是三个主要组成部分。我认为这10个空间都是这三个的组合

理查德·索彻 [01：09：52]：如果你愿意，可以说是具体的维度。我之所以称它们为空间，是因为每个空间都有许多子维度。我试图做的，这几乎是个支线任务，最初的目标是思考智力的上限。

大家都说，“哦，这是指数级的。”而且指数级在某个阶段必须被拉平，但智力在哪里会拉平呢？这也引领我走上了整个过程。最初是一条推文，后来变成了博客文章，现在我已经写了50页，仍然远远没有达到

斯威克斯 [01：10：26]：这是你的第二本书。

理查德·索彻 [01：10：27]：这是第二本书。所以在我的第一本书《你是你的机器》中，我只是提到了这十个，在结尾。为了让你有个感觉，视觉智能是最容易谈的，我已经在脑海中详细阐述了。

所以人类智能是双眼视觉，对吧？我们有两只眼睛。我们有一个非常窄的电磁频谱波段，我们实际上可以直接观察到。所以当你思考视觉智能的上限时，你应该考虑，你可以拥有数百万甚至数十亿个传感器。

在某个阶段，你会遇到这些传感器彼此距离有多远的问题，以至于光速传达所有传感器的内容无法传达到中央大脑来处理视觉智能，对吧？

理查德·索彻 [01：11：16]：所以现在你开始思考视觉情报的维度和空间——传感器数量的维度。

理查德·索彻 [01：11：24]：所以上限在字面和比喻意义上都是天文的，我们离拥有这么多传感器的智能还非常遥远。但当你进入下一个维度，也就是频率，一路到伽马射线，你就可以开始尝试观测，进入上界，或者说在这里是下界，或者说频率上的上界，就是量子不确定性。

比如，你已经无法再观测某些粒子了。

斯威克斯 [01：11：50]：或者你毁掉它，是的。

理查德·索彻 [01：11：51]：现在想象一下，你有数百万个传感器，它们能看到物理学允许的亚原子层面，甚至能看到引力波。现在你有数百万个传感器。

所以这是频率的另一个维度。还有一个维度是，你能记住多少类别的事物，并以不同的方式分类？我们现在知道，对于人类来说，有些东西，如果你有更多的术语，你会对它们有更好的视觉描述。

而动物则没有。比如大猩猩，可能只有大约200个词可以分配给某些事物，主要是视觉类的。所以人类的感知在这方面非常特殊，因为它能分类所有这些不同的物理对象。

这些只是一个非常简单的例子。如果你说知识，那它就像光速绕着所有这些传感器转动一样。所以它们都是相互关联的。比如，如果你不仅思考视觉，还有感知智能，知识也与视觉智能相连，因为它不一定只是我们能看到的东西。

它也可以是更广泛的电磁频率范围。然后你有语言智能，最近又变成了更多的交流智能，因为它更多。语言有各种不同的人性界限。人类在长期记忆中只能理解和知道有限的术语，对吧？

我们的词汇量有一定限制，而主动词汇往往比你能理解的被动词汇还要小。然后，语言在跨——传达不同类型的信息和传输不同比特时效率极低。

比如，人类语言是串行的。另一个界限是，交流智能是并行交流，但我们的舌头和嘴巴也无法同时拥有多条流。我们也无法理解。有些女性在多任务处理方面比一些男性稍强一些

理查德·索彻 [01：13：48]：但大多数人只能听一次对话并真正理解。

理查德·索彻 [01：13：52]：从通信智能的角度来看，真正的上限不可能是你能拥有多少知识、多少条通信序列

视觉、沟通与身体智能

理查德·索彻 [01：14：06]：这是平行过程，对吧？当然，你还有句子有多长？我们的工作记忆有限，因此人类语言的句子相当简单，平均大约40个词。

这也不是AI能理解的上界。然后，是的，我可以一直说下去。每个上界都有许多有趣的上界，这教会我们很多关于当我们开始思考这些上界，然后意识到在很多情况下，我们距离界限有多远时，人工智能还能走多远。

然后你说到物理学。我学物理时，我不是像人工智能和计算机科学那样学习物理，所以我学到了很多东西，这也是为什么学起来挺有趣的。

但很多这些，比如说，到底有多少。然后说到知识，比如说，你能存储多少？你能存储多少位或字节，比如某种质量和体积？

斯威克斯 [01：15：03]：没错。

理查德·索彻 [01：15：03]：你会遇到各种有趣的界限，比如贝肯斯坦界限，然后你开始思考黑洞。就像。速度也是个有趣的概念，因为它和这些都相关，但速度本身也是独立的东西，如果条件相同，如果你花一个小时才能知道2+2是不是4，那你就没那么聪明，比如一毫秒，对吧？

然后，所有这些都和生存和复制有关，最后一个。就像，是的，如果它。比如，树木真的很慢，所以我们甚至不认为它们那么聪明。但如果你加快一些树的视频，它们在寻找东西，它们并不像看起来那么笨。

不是像木头那么笨吗？但是，就是这样。然后，还有不同的东西，那个

斯威克斯 [01：15：47]：所以这在某种程度上和速度有点重叠。

理查德·索彻 [01：15：48]：没错。所有这些东西都交织在一起。你说自然语言连接一切，对吧？你谈论你的知识，推理，然后传达这些。

你谈论你看到的东西。所以它们都是相互关联的，但我认为它们单独研究是有益的，就像我目前能想到的最好的类比是能量，对吧？你有动能和势能。

理论上，你可以研究所有物理学。只是你想研究动能还是势能？但实际上，学习机械工程、电气工程、核物理和化学以及所有这些不同的子领域是有帮助的，在某种程度上

斯威克斯 [01：16：25]：组合

理查德·索彻 [01：16：26]：只是，像

理查德·索彻 [01：16：27]：只是不同类型的能量，但单独研究它们是有意义的。所以我觉得物理智能，也许我会再做一两个这样的。比如，如果你能完全控制自己的计算基底，也能完全控制物理物质，你应该能够创造任何你想要的原子。

比如，我们可以有个有趣的事实，你可以创造金原子。它只是

斯威克斯 [01：16：47]：从哪里？

理查德·索彻 [01：16：48]：仅仅是从原始质子中提取

斯威克斯 [01：16：49]：哦，就是把它们砸在一起

理查德·索彻 [01：16：50]：还有电子，然后你把它们撞在一起。

斯威克斯 [01：16：52]：就98张，或者我忘了具体数字。

理查德·索彻 [01：16：53]：是的。不过，事情是这样的，这消耗了极其巨大的能量。

理查德·索彻 [01：16：57]：而且这花费远远超过你。然后你得到的，就像几个金原子，对吧？所以，这其实是不可持续的。但如果你能更好地控制你的物理基底，我认为这又是另一种智能空间，因为它与你自己的计算基底相关，你最终也可以改进。

社会智能是一个有趣的领域，因为它不仅仅是我们必然重要的伦理和道德，但从某种意义上说，你可以尝试定义你能向多少其他智能实体传达的上界，并对你能转化他们的内部状态和行为达到与目标保持一致的期望值，对吧？

所以，你可以写出一个相当直接的方程，定义那个社会智能水平。这也是人类、伦理、道德、宗教等千百年来一直试图弄清楚的问题。在所有这些情况下，我们离上限还很远，这应该非常鼓舞人心，向人们展示我们仍然可以进行多年的人工智能研究。

斯威克斯 [01：18：12]：是的。这里内容很多。这是一门关于智力的一般哲学，非常有趣。我。你有什么评论吗？

创意智能与非发行创意

Vibhu [01：18：21]：我觉得了解一下你认为的基线是什么，我们现在处于什么水平，会很有趣。什么是低垂的果实？什么是遥远的？人们应该把工作放在什么方面？

他们应该关注什么？

理查德·索彻 [01：18：33]：哦。我觉得很明显，就像是自然语言，又一次

理查德·索彻 [01：18：36]：是人类智能最有趣的表现形式，因此它就像人工智能的一个子领域。我很高兴现在很多人都同意这一点。当我2003年开始学习语言计算机科学NLP时，那是个奇怪的小众学科。

我确实觉得它更有潜力。它如何与其他一切连接，文明是建立在语言和知识之上的。我确实认为物理智能会被提及。这很有趣。我觉得机器人学处于机器学习阶段，你只需观察人类如何。

人类如何判断这是一个积极的句子？哦，我会。所以，机器人学很多时候就是，“嗯，我们有五根手指——”

斯威克斯 [01：19：15]：建模

理查德·索彻 [01：19：15]：“让我试试这个。”还没人在做超级智能版的机器人技术，它更像T-1000，还有《终结者》电影里的那种，我们别造真正的终结者了。

但我觉得，这个想法是你应该能变形成任何形状。这就像是超级智能版的物理智能。我们还没完全开始。甚至还没人真正开始动手。有一些很可爱的小研究，可以让磁铁穿过网格。

但没错，这还很早期。

斯威克斯 [01：19：49]：有一些。我记得麻省理工大学每年或每两年都会推出一种自组装机器人

斯威克斯 [01：19：55]：大概就是这些，但非常原始。

斯威克斯 [01：19：58]：我先稍微谈谈，比如，创造性智能的主要维度是什么？

理查德·索彻 [01：20：02]：创造性智能当然又与这些因素息息相关。很多都与元认知有关，因为你需要在选择目标时保持创造性。

理查德·索彻 [01：20：13]：我认为，对于一个人来说，选择目标和他们的幸福感，以及任何智慧，都是最重要的事情之一。当然，创造性智能也包括为现有问题寻找创造性解决方案，对吧？

理查德·索彻 [01：20：29]：就像我说的，我们想让这个产品更便宜。比如，找到解决方案，找到现有的路径。但智能领域最有趣的部分是，当你不仅跳出已知想法的凸包，而是超越已知想法的超立方体，我们知道，超立方体是一个数学概念，对吧？

我们已经知道人工智能能做得更多

斯威克斯 [01：20：50]：比如已知的维度，是的。

理查德·索彻 [01：20：52]：是的。完全正确。所以，人工智能已经擅长超立方体，比如说，如果你给它一些棕色狗和粉色汽车的例子，人工智能仍然能够生成一只粉色狗的图像，尽管它在训练日之类的活动中从未见过，对吧？

所以它可以在这个超立方体上工作，但还不能在外部工作。它还不能定义全新的概念，结合许多我们以前从未见过的东西，提出新的目标，对这些概念进行推理等等。

我认为创造性智能还有很多可以探索的东西。

斯威克斯 [01：21：25]：我对此没有太多反对意见。我觉得创意听起来就是，也就是那种被分销掉了，或者说是高困惑度之类的——不管你怎么称呼，对吧？

就是

理查德·索彻 [01：21：33]：没错。

斯威克斯 [01：21：34]：谁能说你的东西比我的更有创意？嗯，这只是更多是非共识，或者。

理查德·索彻 [01：21：39]：当然，问题是，噪音也非常，没有分配。就像它只是噪音一样

理查德·索彻 [01：21：46]：那它就算是新颖的，但你又不想那样，所以它需要和一些概念相连接。是的，他也有一些非常酷的论文。

斯威克斯 [01：21：54]：谁？

理查德·索彻 [01：21：55]：尤尔根·施密德胡伯。

斯威克斯 [01：21：55]：哦，是的。哦，我们得提一下他。我正想问，尤尔根在你的历史中处于什么位置？是的，我。我觉得一个人的噪音是另一个人的信号，对吧？

而且这里，就像，谈到创造力时，艺术就像，嗯，是一罐汤的艺术？有些人认为是的

斯威克斯 [01：22：11]：有人说不是，那是艺术，那才是你的艺术

理查德·索彻 [01：22：14]：我认为艺术有趣的地方在于，艺术也是被创造出来的，是感知艺术者与创作者之间的互动

理查德·索彻 [01：22：24]：以及他们所处的背景，对吧？所以对某些人来说是艺术的东西，对另一些人来说并不是艺术。这里面存在一定的主观性，我认为人们在人工智能中很少探讨主观性，因为元认知，我们不希望它随心所欲地去做它想做的事。

我们通常有目标。我们花了很多钱去创造一个人工智能来为我们做点什么。但我认为创造力最终必须与元认知连接起来。如果你只是机械地永远预测下一个代币，我认为你在某些空间上并不那么聪明。

元认知、生存与复制

斯威克斯 [01：22：59]：那本来是要去元认知的。为什么它不是最重要的？为什么是第九而不是第一？

理查德·索彻 [01：23：05]：所以这些都没有排序。

理查德·索彻 [01：23：06]：第一，我觉得这两者可能和人们投入的多少有关

理查德·索彻 [01：23：16]：并且接受了它们作为一种类型的智能。很多时候，当你试图在网上找到一个全面了解智力的好定义时，所有定义都是人类智能。

就像，哦，你有社交智能。比如，如果某人快乐与否。你是可以交流的。你曾经有过。到目前为止，所有关于智能的定义都非常以人类为中心，因为那是我们迄今为止所知最大、最好的智能形式。

我希望这条研究方向，随着尤里卡机器的终结，也希望如果我有时间进一步完善，这本新书能让我们意识到，未来还会有其他类型的智能。

它们已经存在，以各种形式存在，而且它们的激增远远超过我们所能达到的高度，基于某些案例，比如我们记忆、眼睛、改变物质的能力等明显的限制。

斯威克斯 [01：24：12]：你只是用比我更广泛的思维方式思考，我认为元认知最接近递归的智能，因为它是关于如何改善思维的思考。

理查德·索彻 [01：24：23]：它。百分之百。你说得百分之百对。我本该从这个开始。这是非常重要的一部分

斯威克斯 [01：24：28]：但不，你处于一种开阔的模式，让我们画出一个维度的上下界限，我最喜欢的版本是Ted Chiang的《你的人生故事》，这部电影被改编成了元认知

理查德·索彻 [01：24：43]：那是一部很美的电影，是的

斯威克斯 [01：24：44]：元认知步骤是，我们认为时间对我们来说是线性的，但对其他七足类人来说，时间是一个循环，所以他们不思考之前和之后。

他们只是同时思考完整的历史集合。比如

理查德·索彻 [01：24：58]：我喜欢

斯威克斯 [01：24：59]：所以他们不会从左到右写。整个内容自然而然地出现。

斯威克斯 [01：25：02]：总之，那么。最后一点是生存和复制。我觉得这可能和最初关于暂停和节奏的讨论有关。

斯威克斯 [01：25：10]：一个物种或生命体能够考虑自身灭亡并提前采取行动阻止，这算聪明吗？这很聪明。所以也许欧洲人是我们所有人中最聪明的。

Vibhu [01：25：23]：我还想补充一点持续学习，对吧？所以生存和复制，就是你是否能继续进步、不断学习，这也是大家非常关心的事情，对吧？

理查德·索彻 [01：25：34]：并持续积累知识

理查德·索彻 [01：25：37]：我认为这也是你能为自己设定的最好的元认知奖励之一。我确实认为，客观来说，如果有另一个非常愚蠢的实体能彻底终结你的存在，那听起来并不聪明。

直觉上，如果你能继续活下来尝试获得奖励，你显然比那些不能做到的实体更聪明。这是第一点。第二点是我们到底想多努力去做这件事。

而现在几乎没人真正在做这件事，对吧？我们可能只想做这件事

斯威克斯 [01：26：13]：不像小行星防治那种东西。

理查德·索彻 [01：26：15]：我们可能只有在想用我们的气息和表情包而不是基因送探测器到太空时才会这么做，对吧？然后我们想要那些探测器。

有一本很美的书，叫《星际之间的缓慢时光》。它是一本非常短的有声书，在亚马逊上。我很喜欢。我一个朋友斯图尔特推荐给我这本书。

如果你想发送那些探测器，那么用我们的梗来做，作为人类应该留下，可能是合理的

人工智能、太空旅行与非零和生存

斯威克斯 [01：26：43]：哦，是的

理查德·索彻 [01：26：44]：而且，在宇宙中繁衍。就是这样。是的。

斯威克斯 [01：26：47]：哇，读者真多。

理查德·索彻 [01：26：49]：这是一本非常好的书，而且非常短。我强烈推荐。你可以大概看一遍，大约20分钟左右。

斯威克斯 [01：26：53]：我喜欢这对忙碌的人来说是个优点。就像短片一样

理查德·索彻 [01：26：56]：是的。这变得非常有趣

斯威克斯 [01：26：58]：哦，我得去了解一下

理查德·索彻 [01:26:58]: 发人深省的想法很快就会出现，所以是的。 不管怎样，有很多很棒的科幻小说。

斯维克斯 [01:27:03]: 争论的焦点是，我们的电视正在向外星人播放，他们都看我们的电视，他们认为这是真实的，对吗？就像，有很多，有很多科幻小说

理查德·索彻 [01:27:10]: 这就像，这是积极的模因，然后希望他们能够回来并给我们带来各种关于宇宙的有趣知识。 但是，也许我仍然想说的一件事是，我认为这种生存，人们认为这是一件非常可怕的事情，因为他们再次来自生物人类，生存，也就是说，它可以。 就像，进化通常是在零和情况下创造的。 要么我得到瞪羚，要么你得到瞪羚。 谁得到了它，谁就能活下去，其他人就会挨饿，没有东西吃，所以我们就打架，对吗？然后，就像，如果你想留在基因库中，但有一只更大的熊，你就不能，作为熊，不能留在基因库中，因为更大的熊得到了所有的女士。 就像。就像，在自然界中，有各种各样的东西，而人类最终不再是关于力量，而是更多地关于金钱和其他留在基因库中的东西。 就像，不管它是什么，就像经常出现的那样，就像这些零和类型的事情一样，而且现实是，如果有人关掉你的大脑，你就消失了，对吗？没有人能够重新启动这一进程。 人工智能不必就这样消亡。 如果您拥有当前激活的完整状态，并且模型的初始权重仍然存在，则可以根据需要多次关闭和打开。 事实上，这个《星际慢时光》故事中有趣的事情是人工智能刚刚进入休眠模式。 如果这里和 2 光年之间没有任何东西，那么下一颗恒星，在这种情况下，它会带来剧透警报，比如来自人类的一些遗传物质，以寻找人类繁衍生息的新地方。 所以，是的，星星之间的缓慢时间，你刚刚进入冬眠状态。 你没有死。就像人工智能不具备的那样。 所以所有这些进化恐惧和心理学的预测都不是。 就像，人工智能不需要那样，我们也不需要那样开发它。 当然，现在可能有一些公司会说，“人工智能对网络安全来说可能是危险的。 让我通过实施一个在黑客攻击和网络安全方面非常糟糕的模型来向您展示。”也许人们会实施它，然后强制执行它，就像次优的心理一样。 也许人工智能会在 Reddit 或其他什么地方发现我们最糟糕的心理，对吧？就像，但在宏伟的计划中，超级智能实体不必有任何零和思维。 它不必担心被关闭，而且它可以继续进入一个死气沉沉、冷漠的宇宙，在那里我们

理查德·索彻 [01:29:29]: 人类不会繁荣，但如果人工智能拥有核反应堆并出去探索，它就可以完美繁荣。

斯维克斯 [01:29:35]: 是的，是《星际迷航》，不是《星球大战》。

维布 [01:29:37]: 有趣的。确实，有点研究过。 就像，如果你看一下早期 Opus 模型的技术报告，他们会在模拟中运行它们，将其中两个放在沙箱中，运行几个小时，然后看看结果如何，对吗？

就让他们互相谈谈吧。 本来，他们曾经是这样的。 好吧，他们互相唱诵，比如印度吠陀经。

维布 [01:29:56]: 有时他们只是彼此处于禅宗模式。 然后我认为随着进展，你会看到，就像寓言、技术报告一样，我们训练它的方式更加具体。

事实并非如此，它并没有表现出那么多的这些行为，对吗？现在就像是，“好吧，任务完成了。 我必须这样做，我必须这样做。”但是有人在测量这个的早期版本？

斯维克斯 [01:30:17]: 是的。凉爽的。我们已经涵盖了很多内容，甚至现在还涵盖了太空旅行和所有这些内容。 我想也许你可以给予人们一种临别想法，比如，正如你提到的，目标是一种智力形式。 你希望人们的目标是什么？比如，他们如何渴望更好的事情？

目标、热情和结束建议

理查德·索彻 [01:30:32]: 如果你想提高你的目标智慧，在目前的定义中，我考虑的通常是你能做到多少。 哦，我还能走多远？这就像很多熵和自由能以及我目前正在考虑的东西

斯维克斯 [01:30:46]:哦，真的吗？好吧

理查德·索彻 [01:30:47]：但它也可能太过了，可能太遥远了，让人们难以立即付诸行动。

理查德·索彻 [01:30:52]：所以我认为，比如说，如果我给真正的人一些真正的建议，我会说，“接受良好的教育，思考人工智能，考虑如何获得高主动性”等等。

但在更宏观的层面上，这又有所不同，比如你如何利用大量的能量，把熵转化为有趣的状态，等等。

理查德·索彻 [01:31:07]：所以这里有一个。我们可以考虑不同层次的抽象。但我给大家的建议，更务实一点的是，想想你真正热衷的事情，比如，如果你在学习，然后看看你如何将其与人工智能结合。

我认为，你越是对你希望在世界上看到的变化充满真正的热情，你就越想将其与人工智能联系起来，以增强你实现目标的能力。

Swyx [01:31:35]:是的，我认为这是一个合理的第一步。我确实认为，我们的听众也在多个抽象层次上进行操作。我从Anjney Midha那里得到的一点也是，嗯，只要使用任何非常依赖GPU的东西，这会引导你走向正确的方向，也就是，是的，它确实计算量更大，因此可能更值得。

所以，非常感谢你。嗯，我认为这真的…

理查德·索彻 [01:31:57]： 谢谢

斯维克斯 [01:31:57]: 很棒的讨论。

理查德·索彻 [01:31:59]: 是的，超级有趣。欣赏它。感谢您的聆听。