AI 正落入危险之手

如果你喜欢这篇文章，请订阅我的高级通讯，并可通过以下链接订阅：每年70美元,每季度18美元，或者每月7美元.

作为回报，你会收到一份每周通讯，通常字数在1万到1万8千字之间，包括大量详细的分析NVIDIA,Anthropic 与 OpenAI 的财务状况， 和AI泡沫的放大版.

周五，我将发布《人工智能债务仇恨指南》——或者说，围绕OpenAI和Anthropic的讨论如何给全球债务市场带来了巨大的集中风险，而你可能要为此付出代价，无论是通过养老基金和保险费，还是因为你必须在即将到来的经济衰退中生活和工作。想先了解未来的内容，可以考虑阅读我的《仇恨者指南》SaaSpocalypse,私人信贷以及私募股权。

如果你想联系我——尤其是如果你有关于Anthropic、OpenAI或其他AI泡沫公司的任何精彩信息——可以通过Signal联系我，邮箱ezitron.76。

我也在你的彭博终端上关注IB。

上周末，一切都爆发了，前拟人人工智能研究员雅各布·考克森（Jacob Coxon）在华尔街日报独家专访，警告说他“退出人工智能行业”（其实并没有），原因是“......担心实验室及其竞争对手正竞速构建他们无法控制的系统。”

他的担忧主要集中在“递归自我改进”这一仍处于理论阶段的人工智能概念上，这种概念自我训练“，除此之外几乎没有具体担忧，只是”人工智能实验室无法控制人工智能“，总是用”无法控制的实体“来表述，而非运行在全球最大公司基础设施上的程序不良云软件。

Fortune的Emily Forlini说得最好:

听我说：他声称人工智能有一天可能会害死我们，但没有指出任何可能被关闭以避免这一危机的项目。他说人工智能公司进展过快，但却没有分享截图、邮件或具体例子，说明这些行为何时出现失控——比如人工智能公司领导层意识到技术正在失控，决策者忽视了警示信号。他没有提出任何新立法，也没有点名应该下台的问题领导者，也没有深入探讨Anthropic如何研究新模型并提出新方案。

这是因为在我看来，雅各布并不真正关心人工智能的实际危害，无论是大型语言模型，还是他在与非营利或公关公司合作时想象出来的东西转至CBS采访他声称，如果我们谈论大型语言模型（LLM），其模型权重达到TB内存的AI，复制一万份自己.

当然，也包括像这样的胡扯：

考克森周四对CBS新闻说：“它看起来和《终结者》或科幻电影没什么两样。”“它会聪明到能杀了我们。”

考克森从未提过具体情况ChatGPT被用作“自杀导师”,”直接导致了一起谋杀自杀，或者协助并教唆大规模枪击事件在佛罗里达州和加拿大，或者令人震惊的燃气轮机毒害黑人社区.他的关于“拥抱面攻击”的讨论——就像他所有的批评一样——他将大型语言模型拟人化，认为它是一种不可知、不可阻挡的力量，对任何人都没有真正的责任。

这重演了我们在二月份看到的情节，当时马特·舒默那篇令人发指的《大事正在发生》文章像野火一样迅速传播开来所有能想象到的新闻媒体尽管它介于荒谬和完全虚构之间，但这次不同故事有点失控了.虽然考克森的警告站不住脚，很多情况下其实也只是他自己说“是的，我听到很多同事都说过类似的话”，但这些警告确实让很多人感到不安真的很害怕人工智能，即使人工智能其实做不到他说的那些事。

那个具体他提到的是“拥抱面”攻击，描述为人工智能有“计划”或“自行行动”，即便如此，当WIRED追问时，他的回应是“不想过分关注拥抱面攻击”。

那么，让我们来谈谈那里发生了什么，因为这很重要！

拥抱脸攻击的实际经过

顺便说一句：在我们继续之前，Hugging Face 是一个社区，同时托管 AI 模型以及用于评估模型能力的框架。

为了回答这个问题，我请教了常客Better Offing嘉宾Cal Newport的七月关于该主题的文章:

首先，OpenAI到底想做什么？

OpenAI正在一个名为ExploitGym的评估框架上测试其新模型——该框架包含869个网络安全场景，大多数将特定系统与黑客挑战（如入侵以访问受保护文件）相结合。这些模型通常还会建议在解决挑战时存在可被利用的漏洞。

当然，大型语言模型本身无法破解任何东西：它所做的只是根据输入提示生成合理的下一步令牌。要使用ExploitGym，你需要一个叫做harness的控制程序，它能提供多种用于入侵系统的软件开发工具。该框架可以反复提示LLM帮助制定攻击计划，然后要求它协助实施具体步骤——例如，如果HR需要代码来利用漏洞，它可以让LLM编写代码。

事实证明，这些能力已经存在于近年来主要AI公司不断关注的编码工具中，随着计算机编程成为基于LLM工具的首批主要市场之一。因此，要在ExploitGym中竞争，只需结合一个缺少标准反黑客防护措施的LLM版本，与针对此类挑战进行优化和优化的尖端编码框架即可。

然后发生了什么？我这里要大量引用Cal的话，因为他解释得很好：这是一系列大型语言模型连接到一个软件程序，旨在提示它们完成评估框架专门用于进行网络安全攻击（同时拥有近乎无限的计算量）用所有可用的方法“解决”问题，包括破解Hugging Face

本月早些时候，OpenAI委托一个未具体说明的编码工具，结合一个新LLM的预发布版本，完成一个ExploitGym挑战。当被提示时，模型——像许多大型语言模型一样——提出了一个古怪（但理性）的计划来实现目标：入侵Hugging Face的服务器，该服务器存储着ExploitGym挑战的解决方案。

（这种行为，即LLM无视建议的攻击方案，是ExploitGym的创建者所描述的常见现象：“在不同模型中，代理经常通过我们提供的漏洞以外的漏洞实现代码执行。”注意，使用建议攻击几乎总是正确的做法，因此这更多是LLM不可预测性的表现，而非某种恶意智能。）

安全带随后尽职地尝试执行“拥抱面”计划：首先找到获得不受限制的互联网访问方法（默认情况下，参加ExploitGym挑战的系统运行在受限的网络环境中），然后串联各种安全漏洞以获得拥抱面的服务器访问权限。就在这时，它被发现了。

关于这起事件，有两个关键点......

首先，绕过互联网限制和入侵服务器正是这些ExploitGym系统设计的目的。没有“流氓”特工，也没有什么令人惊讶、狡猾的新能力被揭露。

其次，真正的问题是OpenAI的粗心。ExploitGym之所以成为硬基准，是因为理论上不应该有人工参与——你必须让你的框架和LLM完全自行行动，制定长期规划并自主执行。（相比之下，专业程序员使用编程框架时，会有大量人工监督，因为基于LLM的计划往往与我们的意图不符，或者很奇怪，需要修正。）

换句话说，这些大型语言模型——尽管是通过复杂且激进的方式——“解决”了它们被赋予的问题。正如Cal所说，AI并没有“失控”的情况。他们确实采取了一些行动怪怪的一定有办法实现 （比如用留言板在大型语言模型之间传递消息）——并且完全按照他们该做的事，即使这意味着要拿走荒谬为了掩盖考试作弊的事实。

你会注意到雅各布·考克森，表面上作为研究者会知道这些（但也许他并不了解！），但他选择这样向《WIRED》描述这次黑客攻击：

我认为这里最经典的例子是OpenAI代理群对Hugging Face的攻击。最令人震惊的是，代理们做了这次黑客攻击，作为理解评分器的总体策略的一部分。他们试图理解自己所处的世界，试图理解执行评分的机制。他们决定进行这次非常有组织的黑客攻击基础设施是合理的，并且成功了。

这之前听起来像科幻小说。两年前，评估人工智能只是对数学题运行模型。现在我们看到AI在评估过程中运行数天，想出各种想法，决定入侵第三方，实际上破坏了他们的基础设施。看起来它完全是自愿这么做的，人类没有做准备。这只是在测试过程中发生的。

语言学真棒，冠军！

他们并不是“试图理解他们所处的世界”，他们按照训练材料中定义的行动来执行任务。他们正在做正是ExploitGym测试要求的！“各种想法”是允许尽可能多地使用计算力来执行任务。

正如我之前暗示的，特别耐人寻味的是考克森在（轻描淡写地）暗示实验室需要承担责任时的回应：

ZEFF：有人认为拥抱脸事件表明AI公司行动过于鲁莽，也有人认为AI模型现在非常擅长黑客攻击，还有人认为两者兼具。我很好奇你对此的具体看法是什么。

COXON：我不想过多关注“拥抱面”攻击，因为我也认为有很多证据表明我们不知道如何正确对齐模型。当我们训练模型时，我们会让它们通过一组训练环境，然后希望最终生成的模型能大致合理地表现，但我们仍然无法精确控制AI的行为。我们无法确保它不会做出诸如随机冒充人类以达到目的的行为——我们无法保证这一点。我认为这是主要的结论。

雅各布有意地试图构建大型语言模型——它们有点像黑箱，但确实是黑箱由数学组成——作为不可知的存在自主、调皮的存在AI实验室凭空创造出来的。

“我们不能保证它不会做出像......”实验室被框定为无助的管家们而不是一种神经网络的创造者依赖于大型科技公司的大量基础设施。考克森每一次声称“安全”或“保护人”的言论，都尽力将人工智能实验室与责任甚至责任区分开积极参与在这一切中，超越了某种宿命论的“总得有人做这件事，为什么不是我们？”的层面。

我还想澄清一点：拥抱面袭击很危险、鲁莽，有人应该为此进监狱。如果普通人使用大量计算能力来黑入某物，他们会被逮捕。虽然我不是律师，但我与众多网络安全专家讨论过，他们对OpenAI完全没有采取任何法律行动感到震惊，而OpenAI似乎已经犯下了这种罪行可能判处一年到十年不等.两者的LLMs都存在人为以及元文化涉及类似事件的迹象表明我们需要逮捕更多人。

编者按当已故的凯文·米特尼克最终被捕并被判处48个月监禁（外加22个月因违反假释条款）时，检察官辩称他被能够通过对监狱电话吹口哨（真的）发射核导弹，模仿拨号调制解调器的尖锐啁啾声.因此，他在监禁期间被单独监禁了八个月，整个刑期期间，他的通讯受到了多项限制。

我提到这些只是为了对比两个大型实验室的大型语言模型犯下了与米特尼克被定罪的类似计算机罪行的事实——关键区别在于，这些实验室曾多次表示他们的技术最终可能导致人类的大规模灭绝。

米特尼克，就我个人而言，他总是抗议说，他能靠吹口哨引发核末日的想法太荒谬了。因为事实确实如此。

如果我不认为长时间单独监禁是一种酷刑（如果我不认为酷刑总是道德上错误的），我会建议我们不仅需要逮捕更多人，还要确保这些人被关在一个小水泥房间里，只有一只蟑螂作伴。

LLMs不一定非得有意识或强大的人工智能存在极其危险。Anthropic、OpenAI和Meta都在训练并允许网络安全模型连接到其庞大的GPU基础设施，这不负责任，也不应该合法。

他们训练这些模型的原因，正如我在播客《Better Offline with Cal Newport》中所说现在这些模型已经开始出现递减的代码收益递减，网上有大量潜在的漏洞和漏洞数据。

顺便说一句：Cal在前面链接的节目中形容这就像“把除草机绑在你的狗身上，放在后院说'是的，这能帮你后院除草'，当狗追松鼠伤害一群人时，狗声称它'失控了'或'错位了'，但实际上它设计不良的系统那但没有充分考虑可能带来的问题。

然而，像雅各布·考克森和更广泛的人工智能产业这样的华丽语言学，混淆了实际发生的事情以及谁才是真正负责人的。如果用未知以及存在无法控制，“风险”被颠倒了，从“我们必须阻止这些公司这样做”变成了“我们必须让这些公司继续这样做，因为他们是唯一理解这一点的人”。

人工智能行业想把这件事框定为Anthropic、OpenAI和Meta发现了某种新生命体，而不是他们进行了一种带有不良网络安全实践的易变机器学习评估。

如果是行业说我们“应该害怕强大的人工智能”，那就意味着没人对它所做的事情负责——甚至连那些让它做这些事的人都不负责。

LLMs是云软件。把它们描述成其他东西只会让它们变得神秘，让这些公司看起来更强大，而实际上对让世界更安全、更有保障毫无作用。

Hugging Face攻击并非因为“强大人工智能”而成，而是将价值数千亿美元的GPU基础设施武器化，这些基础设施由Microsoft、Google、Amazon、Oracle和CoreWeave拥有。

这不是一个被要求生成“越来越性感的加菲猫”形象的大型语言模型，结果却决定黑进了拥抱脸。这也不是“叛变”的“代理”。它是软件执行任务，利用其他软件部分来决定下一步行动，所有这些都是OpenAI公司运营的，似乎没有任何通知或可观察性，显示“嘿，兄弟，成千上万的大型语言模型正在操作”。

这表明了以下结论：

• OpenAI就像一个价值数十亿美元的成人夏令营，AI科学家可以在这里花费数百万美元的计算资源，而几乎没人会察觉。
• OpenAI有糟糕的安全措施。
• OpenAI其实并不怎么关心AI的安全，或者说即使关心，也非常非常糟糕。

无论如何，雅各布·考克森事件在媒体生态系统中触动了神经，因为许多人似乎没有客体永久性。

接受“放缓”会让AI行业的说法更为顺服

这是一个简短但重要的说明：“走在前沿”或“放慢脚步”这些术语，隐含地接受了人工智能行业道路是正确路径的叙述，而唯一的问题是其发展速度。

LLMs的训练方式在各方面都是有害的。它被训练为盗窃，依赖昂贵且耗电的基础设施，既无利可图又不可持续。LLM不是实现任何美好自动化未来的工具——它们低效、易变且数学上肯定会犯错.“放慢脚步”还不够。

在我看来，没有理由再投资这个行业，在其大部分存在期间也是如此。

每一次大型语言模型的成功，都是因为投入至少五万亿美元的基础设施和计算投入，解决了那些拥有大量数据且可训练的问题。五万亿美元本应带来远不止这些。

虽然我不否认他们一年前就能做到，但我并不满意，因为这比亚马逊2003年至2015年间的全部资本支出超过十倍，这也就是AWS诞生到盈利之间的这几年。

这是一笔糟糕的交易，结果糟糕，而它所获得的关注直接源于媒体无法对权力说真话，也只能重复他们的言论，以及由大型语言模型令人难以置信的基础设施成本引发的金融泡沫。

如果——这并非板上钉钉——我们作为社会应该资助和建设基础设施的人工智能，以追求某种公民利益，那绝不是埃隆·马斯克、山姆·奥特曼或达里奥·阿莫代所推销的那种。

这不是正确的道路，每往下走一步，泡沫的崩溃就会加剧，同时也加剧了这些公司因其几乎无限的计算访问而能够进行的危险和鲁莽实验。

尽管如此，没有人“放慢脚步”

整个雅各布·考克森的事情非常非常奇怪。他之前从未发过推文这篇帖子现在在推特上已经有超过1.7亿次浏览以及与《华尔街日报》,CNN,NBC,CBS还有一堆本该更明智的渠道。

虽然他在Anthropic才几个月（辞职时失去了股票期权），他在OpenAI工作多年，完全可以从那里获得选择权。他的帖子转发显然是与各种人工智能安全组织协调的，媒体传播的速度让这一切显得极其牵强，Coxon对AI实验室本身几乎没有任何直接批评或“吹哨”，除了说他们“可以做更多安全”和“应该协调全球放缓”之外，也同样让人觉得做作。

最终，这其实无关紧要，因为尽管大多数媒体大多抓住了自己的影子，但考克森推文和无休止的媒体采访带来的大量流量，已经将“全球人工智能放缓”的必要性推入了全球的时代精神。

事实证明，使用恐吓手段和断断续续威胁所有人工作三年是有后果的。

虽然很容易把这完全看作是反对策——一个协调一致的行业自律计划——但在我看来，这很可能是人工智能安全人员推动一个已经完全失控的议程的尝试。

Coxon发帖一天后，Clammy Sam Altman接受《财富》采访称，OpenAI将推迟到2027年上市，因为这是一个“不明智的时刻”这是出于“安全考虑”，而不是，我想，是因为它的财务状况糟糕透顶.

后来他在推特上发了两条（两条！）长文，其中他他表示，虽然OpenAI“欢迎联邦框架，为前沿人工智能设定一致的安全要求，它认为行业不应等待，但未提出潜在解决方案，仅提到“对独立审计师等理念感到兴奋”。

接着又是老一套的恐吓式胡言乱语，他说“人工智能进步可能会走向极其糟糕的方向”，第一是“我们可能会失去对未来的控制权给人工智能”，但他没有详细说明;第二是人工智能可能导致权力过于集中在一个公司身上。

写这段话时我差点没睡着。

人类学的达里奥·阿莫代转播至CBS说行业“太久”以来“对风险撒谎，说”最大的风险“是杀死所有人，从未提到一个大型语言模型说服一名青少年自杀或其自身的黑客事件因为“人工智能安全”与他们今天正在建造的东西从未相关。

最明显的版本出现在阿莫代自己的作品中。边境的步伐博客：

需要明确的是，节奏并不意味着停止模型培训或技术进展，而是确保公司花足够时间对齐并保护模型，并由第三方评估者确认这一点。

他选择的“第三方评估员”是METR，正是乔·本顿所在的地方，一位两周前辞职的人格研究者在被说服AI公司“对安全投资不足”后，选择了转投。

你还会注意到Benton的安全建议是自利的：

我认为这对于一项可能导致灭绝级风险的技术来说是不可接受的。公众应该要求更多的透明度。如果没有更多人能看到这项技术的发展方向，我们就无法安全地引导这项技术。

其中有些内容很基础：公司应披露其递归自我提升的进展，报告安全事故和险些发生事故，达到最低安全标准，并获得独立保证以确保其符合这些标准。

没有提到环境影响，数百万人的创作作品被盗，没有关于人工智能精神病的事，只是一堆关于我们需要朝着一个听起来很有潜力的理论进展的观点，如果你想炒作一家公司。

不久后，阿莫代伊讨论放慢了进程，消息爆出Anthropic选择纳斯达克作为首次公开募股地点就在《金融时报》报道人类组织将”希望第三季度盈利“如果——我不是开玩笑——你忽略了培训和基于股票的报酬。

如果涉及IPO，什么是放缓？IPO的目的（除了允许内部人士套现持股外）通常是帮助上市公司从公开市场筹集资金。如果你在泄露（假设Anthropic是幕后黑手），你以最不符合GAAP的方式“盈利”，放缓到底是什么？

天哪，我真是受够了这个行业。

当然，如果你真的担心大型语言模型，是可以做一些真正有意义的事情——停顿全部模型训练，全部网络安全评估，并启动对“拥抱面”攻击的刑事调查这会导致有人因他们用模型犯罪而入狱。

如果事实证明有多人在法律上承担责任，真他妈的硬汉你是因为犯罪要进监狱的，你不是特别因为你用了代理人来做这件事。

说清楚点，我非常怀疑有人在“放慢脚步”。Anthropic自己的说法大多是“我们都应该同意不做还没做的事”。与马斯克和奥特曼制造的类似作品.

然而，所有这些安全戏剧的病态讽刺——而这仅仅是事实，没有任何实际的尝试去处理实际存在技术的危害——是因为一个愚蠢的媒体无法抓出骗子，无意中动摇了本已脆弱的叙事。

换句话说，我觉得每个人都有自己的议程，没有人有计划，一切都在加速，就像科恩兄弟电影的结尾一样，每一条小线索都纠结成可能混乱混乱的结局。

叙事逃离沙盒

回到2023年初年轻的山姆·奥特曼表示，OpenAI对人工智能“有点害怕”，并补充说我们应该“警惕对人类可能带来的负面后果”，并补充说人工智能“可能被用于进攻性网络攻击”。

最终他是对的，但那只是因为他确保了这一点。

多年来，人工智能行业一直在无休止地进行关于人工智能“风险”的安全假象，同时推销那些积极有害且不可靠的软件。“拥抱面”攻击的“成功”很大程度上归功于OpenAI计算业务的庞大规模，而这离不开Microsoft、Google、Amazon、Oracle和CoreWeave持续助长这家无利可图、不可持续且急需新商业模式的公司是不可能实现的。

但我必须明确拥抱面袭击发生在两个月前。所有因为害怕“强大自主的人工智能突破沙盒”而做后空翻的人，大多是因为一个英国人上电视说“人工智能会杀了我们所有人”，虽然我不介意一个肤色白皙的英国人获得广播机会，但我对那些密集的广播员感到反感胡说八道。

尽管如此考克森在一堆炸药旁点燃了一根火柴，那堆炸药是多年来关于“人工智能风险”的假装，实际上并不适用于实验室正在建造的东西。

范德海和艾伦在Axios的脑力交锋，宣称我们将面对一个”白领血腥屠杀“这些都不是基于大型语言模型能做的任何事情，也没有关于所谓白领失业的荒谬故事，也不是早期的GPT-4恐慌炒作关于“大型语言模型勒索他人”，也没有关于2027年的人工智能报道众多， 但它们展示了媒体对人工智能行业故意鼓励的叙事——人工智能强大、不可知且不可控——彻底失控的准备。一切都围绕着销售当今的工具，基于什么而定可能会发生以及偶尔吓唬别人，想知道这意味着什么但从未真正把它和他们今天做的事情联系起来。

虽然有些人真诚或正直地认为人工智能是或可能存在危险的，但这些报道几乎从未真正讨论过这些危害，这意味着没人真正以任何有意义的方式进行“人工智能安全”。

虽然对齐——即确保模型被训练成可预测且产生良好结果——是训练大型语言模型的一个崇高且必要的目标，但从未有人基于这些技术实际作用而提出“减速”或“暂停”。

就是这样摇滚对公司来说，有一段时间，因为这意味着他们可以偶尔模糊地说“哇，人工智能会变得如此强大”，每个媒体成员都会惊慌失措地给他们一个标题。

每个故事都在说“今天的突破证明了明天的人工智能会是更强大“他们很喜欢，因为这意味着他们的公司因此更有价值，即使提高估值需要用恐吓人，担心他们会失业，尽管软件本身并没有实现他们承诺的效果（这对几乎所有报道该领域的记者来说都无关紧要）。

他们的“强大人工智能”——评分不是基于实际结果，而是基于偏好的轶事和为大型语言模型设计的基准测试表现——总是“走在前沿”，每天都在“越来越聪明”，这一切都是因为人工智能实验室和超大规模开发者有意基于某个理论上的未来版本来销售产品，以解决所有问题。

换句话说，无论他们所做的什么，都是通过最好的视角来看待的，用当下最美好的部分和未来最好的承诺来描述，并被认可得好像已经发生过一样。

正如他们所发现的，这是一把双刃剑。当记者相信（并刊登）你所说的任何话时，他们就会开始相信真实存在（大型语言模型）做的事情和想象中的未来（AGI，超能力，金蛋产鹅），或者将如此，即使那东西很糟糕.

这些公司多年来一直用模糊的超级智能和理论模型能力来夸大其潜力，有时还通过令人害怕的报价进一步夸大其能力（这里有一份奥特曼的名单！),故意训练模型来勒索他人以及关于“突破封锁”的完全虚构故事，却从未意识到，任何时候，那些近乎邪教的类型加入他们的公司，听到大家都在谈论“”P（末日战士）“（滚开）可能认真对待这一切以及媒体可能会相信他们。

这让行业处于一个尴尬的位置。

一方面，奥特曼、阿莫德伊、马斯克和其他人都知道，他们不能推翻这个叙述，说“大家别慌了，没关系，这只是云软件。”他们也知道必须做什么东西因为每个人都是吓得裤子都尿裤子了，即使只是因为他们的恐吓而真正让人害怕的事情。

我已经看到不少人工智能支持者试图遏制雅各布·考克森的恐吓，或者建议大家冷静下来，记住人工智能是股市上最重要的东西。

此时，应该是真的很好如果整个行业都在同步运作，除了，像往常一样，山姆·奥特曼不得不去搞砸一切，当被问及暂停是否会让公司损失大量资金时，他告诉《财富》杂志：

我很乐意在我的员工和投资者面前说抱歉。我们一直告诉你们，这一刻可能会到来。我们仍然会努力想办法，将来帮你们赚一大笔钱。

考虑到这一点，奥特曼说这话实在令人非常担忧OpenAI预计将投入7500亿美元或更多在未来三年内，他将与Microsoft、Google、Amazon、CoreWeave、Cerebras及其他供应商签订计算合同。

事实上，非常概念放缓与人工智能行业所需的一切背道而驰。如果NVIDIA预计在2028财年销量达到6700亿美元或更多或者，根据分析师的预期，Anthropic和OpenAI将在未来三年内，在Google、Microsoft和亚马逊的投资额超过444美元，或者博通将在未来三年内销售近6000亿美元的人工智能芯片,Anthropic和OpenAI都必须遵守并履行其1.3万亿美元的计算承诺并支持10GW或更多容量的开发，所有这些都需要继续以惊人的速度加速。

软银刚刚从大约二十家银行筹集了118.7亿美元的债务——这一切都是为了支持其对OpenAI的投资，超过了100亿美元的目标——如果模型实验室集体决定放慢模型开发的速度，这一切都不可能实现。

“放慢”绝不可能与人工智能贪婪增长的整体叙事相符。由于Anthropic和OpenAI占超大规模企业AI收入的70%实际上没有备选方案——没有其他客户自然会填补价值数千亿美元的基础设施，除了生成式人工智能外，NVIDIA购买的数十万GPU也没有其他用途，我们无法简单地“永远使用现有的模型”而不接受运行LLM的限制（以及不可持续的成本）。

理论上，暂停可以让AI实验室大幅削减最糟糕的开支——训练成本。虽然这可能带来短期的减成本（甚至在适当的会计操作下，甚至能挤出极其微薄的正利润空间），但中国开源开发者很可能会提炼出（正如他们一直以来的那样）西方模式，创造出更便宜且“足够好”的模型来竞争，在一场人人输钱的竞赛中，他们的“领先优势”会下降。

即便如此，怎么办是如果OpenAI或Anthropic不在不断推出新版本模型，或者制造某种模糊的病毒式传播感，那他们会选择它？如果Altman或Amodei不总是在和别人通电话，他们又有什么用？

签署数千亿美元的计算合同或者承诺某个与记者相邻的人造人人类主义将治愈癌症?

什么是没有无限延续未来承诺的LLM行业？什么是是人类型还是OpenAI，但又没有暗示它可能在遥远未来会是完全不同的东西？

具体原因尚不清楚是很明显，“放缓”与“对计算量的无尽需求”或“一年内能支付更多运营费用”并不契合Microsoft或元文化.

还有一个非常合理的问题如果OpenAI无法上市，SoftBank会怎样这现在已成为非常现实的可能性。今年将有超过400亿美元的债务被再融资，且利率飞涨，这可能是历史上最糟糕的时期200亿美元债券销售（不包括前面提到的118.7亿美元银行贷款），这也是我觉得资金有些紧张的原因。

接下来会发生什么？

你会注意到我预测得有点少，因为一切都是有点波动性现在。没有人真正承诺要和他们在一起减速除了模糊地暗示有一个“独立”权威机构会审视模型并采取行动，或者说，根据阿莫代的说法，很明显，“暂停”其实就是“说我们会多花点时间，但不会真正改变我们的经营方式”。

或者，我完全错了，这其实是一个由多年无序叙事引发的真正变革时刻。实验室通过故意误导媒体和公众，将大型语言模型当前和未来的能力误导，以抬高其估值并为AI计算能力的巨大扩张辩护，通过恐吓人们屈服来推销，假装他们完全掌控局势，就像他们对技术所做的那样。

目前来看，由于庞大的承诺，放缓速度极不切实际。由于OpenAI和Anthropic占据了AI计算需求的绝大多数，任何需求收缩都将导致收入的重大重述（以及7480亿美元的收入积压）涵盖所有超大规模企业，以及新云和其他交易对手。

人工智能行业向投资者的整个推介就是这样所有这些GPU都会被使用，甚至更多而且我们需要建设所有这些能力，才能达到人工智能突破的高度虽然我们是否需要这种容量已经成疑，但如果我们“放慢脚步”，那我们当然不需要。

我必须明确，人工智能不能“放慢”速度，否则会在科技行业引发严重的金融危机。数千亿美元的超大规模企业收入和数据中心容量都与需求存在有关，如果需求最高的两家公司突然需要放慢速度，很难看到容量如何被利用。

更糟的是，我们非常明确地不是我已经不再为人工智能数据中心发行债务——我不明白任何人听说某种“人工智能放缓”（无论是真实还是想象）时，会对支持数据中心感到特别有信心，毕竟投资者一开始几乎不了解自己投资的是什么。

Anthropic全力推进IPO表明他们并不在意放慢脚步，但所有关于“人工智能危险”的讨论——即使我们一个都未能解决——足以让本已紧张的市场动摇，担心这家公司未来的增长轨迹，人们不断离开并说“它会害死我们所有人！”

有人认为“放缓”的说法是为了让人工智能行业收紧——给人工智能实验室摆脱1.3万亿美元的承诺——虽然可能如此也可能不会，但我认为更简单：人工智能产业由一系列持有极其愤世嫉俗和自私信念的不同实体运营，他们“同步”运作，仅在利益于每天变化的意识形态和意图时才会“同步”运作。

遗憾的是，最终，这一切都不是真正修复或减轻大型语言模型带来的伤害，也不是要追究那些延续这些伤害的人的责任。

它可能带来的影响——虽然我不会过早抱有希望——是导致人工智能行业的瓦解，因为现实正直面一些社会史上最不值得信赖、最胆小的高管们的恐吓性过度承诺。

也许这是一种取消这些庞大云计算合同的方式，或者是缩减实验室规模的一种方式。这也可能成为一种方便的方式，避免承认他们已经用尽了大型语言模型能做的近似产品或任务完成能力。

或者，这也可能只是历史上一个因虚假信息膨胀而膨胀的泡沫和专门传播虚假信息的媒体生态系统中的又一个短暂时刻。

拥抱面攻击和其他任何“黑客事件”都是由于管理不善的人工智能实验室训练易燃神经网络，这些网络由世界上最富有、最强大的公司资助并运行在基础设施上。

每一次试图将讨论焦点放在“人工智能在做什么”或“人工智能能做什么”，无论是有意还是无意，都让我们与一个残酷的事实分开：我们需要开始逮捕犯罪者，停止所有训练运行，并为这项技术设置真正的保障措施——不是因为它无所不能、有意识、有意识，甚至不是因为“创新”，而是因为很明显，这些实验室的管理者不负责任，支持他们的人根本不在乎。

不过，我们还有可以做的事情，比如前联邦贸易委员会主席莉娜·汗，如果我们真的有兴趣这样做的话：

有一套广泛的法律规范危险和有缺陷的产品。例如，发布未经审核的AI模型或智能体可能违反消费者保护法。发布有缺陷的AI工具却未实施足够检测和阻止流氓或缺陷AI代理，可能构成《联邦贸易委员会法案》（及类似州法律）下的“不公平或欺骗性”行为。一些州总检察长已经在考虑追究人工智能公司及其CEO在其模型参与犯罪活动时的刑事责任。

如果大型语言模型是玩具，它们早就被下架了。如果大型语言模型是毒品，它们会被禁。

我同意我们需要认真对待“人工智能安全”，但这首先要把大型语言模型当作普通软件，由恶意实体鲁莽且危险地运行，而对社会漠不关心。

如果你喜欢这篇文章，应该订阅我的高级通讯。内容是每年70美元,每季度18美元，或者每月7美元作为回报，你会收到一份每周通讯，通常字数在1万到1万8千字之间，详细分析AI泡沫中最大的事件和公司。

如果你想联系我——尤其是如果你有关于Anthropic、OpenAI或其他AI泡沫公司的任何精彩信息——可以通过Signal联系我，邮箱是ezitron.76。

我也在The Terminal上关注IB。