一个 AI 从业者的"末日"转变：从乐观到担忧的六个理由

如果你关注我的推特，或者阅读这个博客，你会注意到我从对人工智能普遍乐观和兴奋，变成了极度担忧。我想，我应该解释一下为什么我改变了看法。

这篇文章的每个部分都涉及人工智能中我观点发生转变的某个方面。我每节开头都会解释我之前的信念，以及我为何持有这些信念，然后解释这些信念为何发生了变化。

目录

经济

自动化确实很好。我们自动化了1790年时人们99%的工作，结果不是大规模失业，而是我们更富裕、更健康、更有教育、更多休闲等等。我有一种模糊的归纳想法，虽然我无法预测AGI之后会有哪些工作，但总会有需求让我做点什么。

至少，后AGI世界的经济增长率大幅提升意味着人类生态位虽然绝对规模小，但可能远大于今天的经济规模。

这也许还会是真的。或者这可能只是我缺乏想象力。如果人工智能发展到人类和人工智能之间有持久互补性的地步，那么在AGI之后的未来，我们可能还能找到工作。

但如果AI真正变得通用，AGI中的G，而且它比人类更聪明、更快、更便宜，那么我们可能除了靠全民基本收入生活外别无选择。

当人们谈论UBI时，通常会担心在没有工作的世界中意义的问题。我从未有过这种担忧。去年我做funempal时，花时间读书、写代码、和朋友们聚会。

如果未来是无限的UBI资助假期，我知道我会怎么做。“奇点之前，读书，举办家庭派对;奇点之后，等等。”

但后来我开始思考AGI的政治后果，并开始写相关内容：

• 没有人能逃脱永久的底层阶级：如果人类在经济上毫无用处，国家就不需要他们。为什么要向既没有经济权力也没有政治权力的人支付UBI？
• 当未来不再需要我们时工厂工人可以破坏机器，卡车司机可以关闭物流。但如果人类在经济上毫无用处，人们就无法通过撤回对政治秩序的贡献来否决政治秩序。如果人工智能打仗，国家就可以任意镇压。
• 没有数学家的数学：大多数关于人类“向上调一个职位”的论点都失败了，因为人工智能也能完成这些工作。
• 我们的仆人会为我们做到这一点：即使是我们认为独有人类的工作，我们也可能更愿意让机器来完成这些工作。

路线排列

我曾希望对齐会成为一个正常的工程问题，我们通过经验实验和调查解决，就像其他一切一样。早期的大型语言模型不是像斯坦尼斯瓦夫·莱姆小说里那样难以理解的外星意识，而是极其人性化的存在。

这很难不是去拟人化它们。大型语言模型中无监督学习的核心非常深刻地理解人类道德：你可以和他们谈论这些，他们会流利、详细地解释为什么某事根据某种道德体系是“好”或“坏”的。

而且，由于能力较弱，失败率非常小。2022年ChatGPT最糟糕的表现是什么？

自2024年以来，强化学习成为推动前沿发展的主要技术。强化学习代理的工作原理完全符合Yudkowsky的说法。因此，能力显著提升，但模型更难理解（字面意义上：它们的文字越来越难以理解），而且随着强化学习为奖励而疯狂运转，模型也越来越错位。

事故严重错位的现象更为常见，也更具影响性。显然，人工智能的能力增长速度远远超过我们控制甚至理解它们的能力。

控制

我曾想——或者说，我隐含地相信——人们会想要保持对人工智能的控制。如果我们想保持控制权并解决阵营问题，那我们就必须保持控制。

很简单。但最近我开始思考：不，我们很可能会把控制权交给人工智能。

弱势化论点类似于囚徒困境：赋予人工智能更多权力的人/公司/政体会竞争过不赋予AI的，因此存在对剥夺权力的竞争压力。这很容易相信。

强效的剥夺版本是：人工智能会如此聪明、博学、亲切、道德高尚，以至于我们会自愿、自愿地把权力交给它们。我们会想，“他们能做得比我们好”，而我们是对的。

相信这一点需要你对人类对自主权与物质考量的渴望持某种愤世嫉俗的态度。但在过去几个月里，我变得更加愤世嫉俗。

这并不是突然的“糟了”顿悟，而是慢慢积累的微小证据，每点都指向被削弱的方向。

写作

我认为，人工智能写作的激增是削弱权力的证据。

一开始，我会开始看一篇博客文章，结果都是AI的垃圾。我打开一个看起来有趣的GitHub项目链接，README却是垃圾。我会收到一个项目的拉取请求，代码就是垃圾。

你会读主流报纸的文章，它们都是AI写的。这只是令人沮丧。

然后情况变得更糟。我读过一篇论文反对在数学中使用大型语言模型——那篇论文是AI的烂材料。I书评了整本书关于后通用人工智能的世界，结果是AI的烂材料。

我读到有个会议开始用Pangram过滤大量AI投稿，还看到一位大学教授——一位大学教授，用自己的名字写的！——为使用AI写论文辩护的推文。

我不认为用AI写作就像计算器、搜索引擎或其他类似的东西。你能自动化的事情是有限的。一旦你自动化了写作，就没有更高层次的活动可以转去。

人们认为“想法是我的，写作是AI”，也就是说，他们给AI输入一串漫无目的的要点，AI会把这些要点压缩进博客文章、论文或其他内容里。

他们认为这一步是“纯粹的写作”，而他们组成的要点是“思考”。但他们错了，因为写作就是思考.因此，让AI写作，你放弃了构成思考的大部分东西。

软件工程

Claude Code 发布刚刚一年多。在这短短的时间里，软件工程经历了彻底的转变。从实质上看，这可能是积极的：提高了生产力，但代价是代码库变得更混乱。

在社会层面，这却是一场灾难。

关于软件工程的讨论变得越来越愚蠢了。感觉整个行业的人都失去了30个智商点。人们以前谈论编译器、类型系统、逻辑。现在他们谈论的是“提示”、“线束”、“循环”。

话语变得更狭窄、更浅、更重复。我听“智能束缚”的次数有限，听完我就会疯掉。

还有人力资本形成的丧失：没有什么可学的。提示不是技能，至少比软件工程浅得多。工作的工具性维度有所提升，人们每单位努力能产出更多，但建立人力资本的工作维度已经崩溃。

也许这是理性的。为什么还要学编程？计算机能帮我们做到这一点。所以，成为好程序员所需的严谨、系统思维全都消失了。机器对我们来说可以理性。

我们可以随意感受。

让步于人工智能

你上一次在没有至少咨询AI的情况下做出的重要人生决定是什么？你遇到过多少人把ChatGPT当作神谕者？而这现今而人工智能有许多局限（没有在线学习、无法阅读的文笔、幻觉）。

如果人们把当今这个极其有缺陷的人工智能当作神谕，2030年会变得更糟多少？2035年？2040年？

人们过去会在网上争吵、互相攻击、生气。那不好，但至少是人类.现在他们只回复ChatGPT“反驳”对方说话的截图，完全不关心那个反驳是否正确。

所以我们甚至不再在网上互相攻击。如果我们真的在自动化恶习还剩下什么？

停滞

这并不是我信念改变的一个领域。相反，这也是我最初对人工智能持乐观态度的原因之一。

我出生于1994年，所以我大部分时间都生活在大停滞.作为青少年，我读书创造的引擎,钻石时代,猎户臂;我梦想着我们未来会拥有的各种神奇技术，它们为我们打开的可能性。

然而，这一切感觉都遥不可及。有的是不远的未来，那是更薄的屏幕和更便宜的太阳能板;还有一个遥远的未来，是分子制造、戴森球、心灵上传和星际旅行，除非你注册冷冻保存而且效果很好。

在大型语言模型出现之前，近期有什么值得兴奋的？太阳能？自动驾驶汽车？那个能源转型?这简直可笑。当人工智能出现时，我人生中第一次，梦想的未来似乎触手可及，令人兴奋且迫在眉睫，而不是那种手机、应用、企业化和有序衰退的可怕单调。

我常常想：如果GPT-3没有起作用会怎样？在这个另类的2026年，我们会期待什么？