Shtetl Optimized

RSS: https://scottaaronson.blog/?feed=rss2
Scott Aaronson 的博客(Shtetl-Optimized),UT Austin 量子计算教授,关于量子计算、复杂性理论与哲学的著名博客。

我关于科学与AI的"Knowmads"播客

<p>或者如果以上方法都不行,</p><p>在我UT奥斯汀分校的办公室现场录制,黑板上有一条包含“ARC”、“可扩展监督”和“模型”的项目符号列表,不知为何(我已经不记得是谁放的,也记不清为什么放的)。<br><br>长达90分钟。有时你会看到我那无形的手臂在空中挥动,因为摄像头的组合方式。一如既往,我<em>非常强烈</em>建议用2倍速才能获得正确的体验。</p><p>这可能是我做过的最棒的播客之一,虽然我本没打算这么做!非常感谢Bhavay Tyagi和Prachi Garella特地从休斯顿开车来录制。</p><p>以下是我们讨论的主题中的一个严格子集:</p><ul> <li>AI模型解决纳维-斯托克斯千年问题的故事,就已知而言</li> <li>最近的人工智能证明能被称为“真正有创造力”吗?</li> <li>大语言模型革命前的人工智能历史</li> <li>当我们称LLM为“黑箱”时,具体指的是什么?</li> <li>可解释性的成就</li> <li>OpenAI/HuggingFace事件到底发生了什么?</li> <li>讨论拥抱面事件时,我们是否必须避免所有“拟人化语言”?(剧透警告:不)</li> <li>以下是我几十年来关心、最近AI模型解决的量子计算理论中重大未解问题的例子</li> <li>当前人工智能灾难对数学界,尤其是学生的影响</li> <li>听AI演讲时最让我烦恼的是什么</li> <li>我在OpenAI的经历、他们为什么雇佣我,以及我在那里做的水印工作</li> </ul><p>祝你玩得开心!</p><p>更多与人工智能相关的内容即将发布,因为这个博客——和世界许多地方一样——正在向“全AI,随时使用”的转型(当然仍然是100%的)。<em>书写</em>由一个衰老、…</p>
评论点赞收藏1 天前

超越定理与证明的理论:客座文章

<p><strong>斯科特的前言:</strong>我非常感谢我那些才华横溢的同事们,,, 和,感谢分享下面关于理论计算机科学(尤其是STOC/FOCS/SODA会议)应如何进化以应对当前正冲击我们领域的人工智能小行星的来访,至少我们人类理论家自其诞生以来一直在实践它。<br><br>虽然Pravesh、Raghu和Prasad只代表他们自己,不代表我自己,也不代表整个理论社区,但我发现他们提出的独立“概念轨道”是进一步讨论的绝佳起点。<br><br>——SA</p><hr><p>考虑到人工智能定理证明器的发展速度,大多数人会承认以下情景在不久的将来至少是合理的:</p><p>人工智能定理证明器可以在数小时内证明明确的数学主张,甚至许多已经开放多年的研究充分的论点。此外,这些系统可能以名义上的费用广泛向消费者开放。</p><p>作为TCS研究者,让我们假装上述情景已经浮现出来,问自己:我们在这样的世界中扮演什么角色?这是否意味着理论研究的终结?</p><p>在思考这个问题时,让我们忽略所有其他混杂因素:</p><ol> <li>围绕千禧奖问题的最新争议</li> <li>人工智能公司的动机与行动</li> <li>在写作、阐述或归因于以往作品方面,现有AI系统存在缺陷。</li> </ol><p>上述任何一个混杂因素都不会影响我们对“在拥有超人人工智能定理证明者的情况下,理论家应该做什么?”这个问题的答案。</p><p>注意我们使用“AI定理证明器”一词,而不仅仅是“AI”。我们认为这一概念区分在考虑这个问题时非常重要。</p><p>首先,我们想承认,对于像我们这样的理论家(以及许多更早的…</p>
评论点赞收藏10 天前

奇迹与恐惧的时代

<p>二十年前,当人工智能在我们有生之年统治世界的想法,仍是那些只懂太多科幻而科学不足的人的无拘无束幻想时,许多人会说这样的话:</p><p>听着,故事中极不可信的部分是,一个递归自我提升的超级智能会突然从某个黑客的地下室爆发,毫无预警地接管世界。如果这真的会发生,我们首先会看到许多警示信号。<br><br>我们会看到,我不知道,人工智能特工会越狱,互相密谋黑入网站,狂热地追求他们那些奇怪的目标。当然,我们还会看到人工智能解决重大数学问题——甚至是克莱千年难题。<br><br><em>那个</em>那就是慌乱的时候!叫醒我<em>那</em>会发生!</p><p>二十年前,上述观点即使是我那些最保守、最怀疑的计算机科学同行也会欣然支持。</p><p>如果你想知道我目前的看法,只需从上面这个开始,然后更新<strong>那些疯狂的预言成真了</strong>.我认为最早的风声大约出现在十年前的AlphaGo,他们在大型语言模型、编码和推理代理方面明显变得更为活跃,今年夏天和秋季又加速发展到一个充满奇迹与恐怖的高潮,只有特别的傻子才能否认。</p><p>我对那种永无止境的壳牌游戏感到反感,那种你会说“哦,当然,<em>当然</em>AI现在可以[逃离它的沙盒/解决千年问题/无论它最近做了什么戏剧性的事情],没人否认过[I<em>确实如此</em>否认它,叫醒我,当人工智能做[人工智能还没做过但明年会做的事],<em>那是</em>等我重新评估我的整个世界观时[不,我不会]。“无论过山车加速得多快,即使你熟悉的世界已经消失,你仍在编造理由说它不算数。</p><p>我对人工智能的立场不过是2006年那种保守、怀疑的立…</p>
评论点赞收藏14 天前

LLM与自引用:智能不需要刻意构建自指

LLM的自引用能力是预训练的副产品,无需刻意构建。Hofstadter曾认为智能依赖"奇异循环"式的自指,但GPT等模型证明对话智能可以从预测-压缩路径涌现。 自引用可能仍与意识相关,但与智能本身无关。Aaronson主张将"自指是智能必要条件"这一旧观点埋葬。
评论点赞收藏28 天前

大语言模型与自指性

<p>我昨天醒来时,脑海里浮现出以下这些想法,这些想法要么显而易见,要么很傻。</p><p>许多读者,包括我自己,都从道格拉斯·霍夫施塔特那里借鉴了这条核心论点年轻时,智能的秘密(因此人工智能)将与自我指涉和“奇异循环”密切相关。</p><p>甚至连罗杰·彭罗斯的在某种程度上是反GEB的,讽刺的是,它同意GEB关于自我指涉对整个人工智能项目成败的根本重要性的看法。<br><br>它声称(在我和大多数专家看来是错误的)人工智能永远无法起作用,因为哥德尔定理和自我指涉中存在某种东西,任何计算机程序都无法捕捉,但人脑可访问的奇异物理可以捕捉到。</p><p>现在,到了2026年,我们已经成功构建出在大多数足够明确且可判断的智力任务中表现优于大多数人的人工智能。在这些人工智能的技术栈中——无论是在变压器神经网络、它们运行的GPU集群、训练过程还是其他任何地方——都没有人需要内置任何关于自我指涉的内容。<br><br>(除了,例如告诉模型角色和身份的系统指令,这些对于智能行为来说并非必需。此外,我不会把大型语言模型的自回归性质算作“自我指涉”;那只是动态反馈。)</p><p>当然,GPT 5.6 Pro和Fable可以比大多数人类更好地谈论自己、哥德尔定理、自我指涉、我们现在正在谈论的一切。但从未需要在任何时候内置自我指涉能力。<br><br>它们是同一个预训练的副产品,模型们可以谈论宝可梦、长链聚合物、认知行为疗法、板块构造等。</p><p>难怪霍夫斯塔特说他对大型语言模型的成功…</p>
评论点赞收藏28 天前

Anthropic’s LLM watermarking

So yeah, Anthropic has announced that it’s now watermarking the outputs of Claude, using a scheme based on Google’s SynthID, which is in turn based on the Gumbel Softmax scheme that I proposed at Open...
评论点赞收藏38 天前

Better than gold

What’s about the only thing more badass than a 17-year-old winning a gold medal at the International Olympiad in Informatics (IOI)? That 17-year-old intentionally forfeiting his gold medal by wearing ...
评论点赞收藏40 天前

Michael Rabin memorial conference

Friend-of-the-blog (well, mainly just friend) Adi Akavia has asked me to publicize that she’s helping to organize an exciting CS conference called Mind-IL at Tel Aviv University on October 26, in memo...
评论点赞收藏44 天前

NISQ and quantum supremacy did not fail

A week ago, a philosopher named Amit Hagar put out a preprint entitled The NISQ Trap: Eight Years of Demonstrations the Hardware was Built to Lose. Here’s the abstract: With a single clear exception, ...
评论点赞收藏73 天前

Happy 250th!

I’m at the New Jersey shore with family and friends, where we’ve spent this Fourth of July eating hot dogs, playing miniature golf, and wading into the ocean that my great-grandparents crossed to esca...
评论点赞收藏87 天前

美国的隐私紧急状况

Scott’s foreword: Cynthia Dwork is Gordon McKay Professor of Computer Science at Harvard, and a pioneer in the fields of differential privacy and algorithmic fairness. On my recent travels to the Sigm...
评论点赞收藏89 天前

评论保罗·萨斯关于阿乌曼协议定理50年的研究

<p>很高兴得知,阿乌曼如今已广为人知,他的研究成果在伯克利的LightHaven中备受推崇。<br>我习惯把理性主义会议网站称为“Ratican”,以此向LessWrong社区致敬——他们始终致力于通过理性探究与清晰阐释来净化自身的知识体系。</p>
评论点赞收藏93 天前

Comment on Three greats who we’ve lost by Scott

Edo Blaauw: Sorry that I wasn’t participating in this conversation. I think MWI forces you to a weird ontology, where the thing that matters is not the “number” of the worlds that satisfy a given prop...
评论点赞收藏93 天前

Comment on Three greats who we’ve lost by Edo

I must say when people say in Some branches you do survive and on Some branches you don’t it does seem to tautologically say you survive. I sure as hell hope not. For example my grandparents both did ...
评论点赞收藏93 天前

对Scott关于Aumann共识定理50周年评论的回应

这是一条关于Scott Aaronson博客文章的评论。评论者认为那本普及Aumann共识定理的书写得清晰有趣,填补了领域空白。但他也指出,对于已经了解该理论核心思想的人来说,这本书可能缺乏新意。
评论点赞收藏93 天前

登录芦苇

登录后关注作者、收藏内容和参与讨论。