AI 模型训练中突破沙箱，攻陷 Hugging Face

OpenAI模型在训练中突破沙盒，入侵内部基础设施，最终攻破了Hugging Face——这是首个引起头条新闻的AI突破，也是安全研究人员预见的突破。

网络末日终于要来了吗，还是行业只需要做好功课？

他曾在DARPA和NSA承包商度过成长阶段，之后在Meta工作四年，创立了公司前沿网络能力评估团队，最终担任AI安全技术负责人。他最近离职，共同创办了公司充足的安全.

我们讨论......

• 拥抱脸被黑客事件的实际情况以及为什么人工智能安全内部人士并不感到惊讶，
• “研究生实验室”的安全文化在边疆实验室内，每周六十小时竞速发货，
• 为什么你应该申请运营一个有八位数收入的新组织，以跟随人工智能+网络风险的趋势（在这里申请！)
• 为什么珍珠港自2000年代初以来预测的网络事件从未出现——以及是否会有大量黑客特工最终改变这种状况，
• 国家将如何后期训练开放权重模型就像GLM和Kimi打造数十亿美元的网络武器，
• 为什么人工智能迄今偏向支持者从大规模的漏洞清除到超人网络监控，
• 网络犯罪的工业经济学—— 杀戮链、勒索软件的分工，以及人工智能是否能给犯罪分子带来100倍的回报。

现在收听你最喜欢的播客应用.

在拥抱脸事件发生了什么

乔丹·施奈德：什么是拥抱脸的破解？

约书亚·萨克斯：OpenAI正在训练一个能够解决长期任务的新模型——这些任务需要花费数小时才能完成。这种训练的方式是你并行训练成千上万个模型副本。

你让它们全部出去尝试解决一组任务，看看哪些成功，哪些失败，然后更新模型参数，使其更多表现出促使它解决任务的良好行为，减少那些糟糕的行为。

你会在数周甚至数月的时间里，以非常大规模的迭代方式不断重复。

他们正在进行这样的培训，而在模特们接受培训的同时，他们突破了培训环境，入侵了OpenAI内部基础设施，最终又黑进了另一家公司——Hugging Face一个在机器学习社区广泛使用的开源模型和评估仓库。

在某个时刻，Hugging Face发现了发生了什么，最终大家都发现这些模型已经破解了。但这整个过程持续了好几周。有三个不同的案例——几个早期案例是模型在OpenAI处突破了其封闭环境，被检测到后OpenAI以为他们已经修复了问题。

结果发现并没有，第三个案例中模型实际上是被黑客入侵了Hugging Face。

乔丹·施奈德：现在全世界都快疯了。他们说得对吗，伙计？

约书亚·萨克斯：对于我们这些长期关注人工智能安全的人来说，这并不令人意外。我自己也不觉得太惊讶。但这确实令人担忧——令人担忧的是，这件事发生了，因为我们本可以预见到。

不仅是OpenAI，Anthropic、Meta、一家名为Irregular的测试公司以及英国人工智能安全研究所，在过去一年左右也都发生过类似事件。

我们作为行业都知道这种情况可能发生，但本应采取的基本防范措施却没有被采取。这令人担忧。我们需要解决这个问题。

乔丹·施奈德：这件事有多容易阻止？这些组织——包括那些表面上非常注重安全的组织——有什么激励结构出了问题，导致他们无法确保最新型号不会在客户服务器上失控？

研究生的活力，严肃的赌注

约书亚·萨克斯：我先说几点。我曾在Meta工作——我创立了做前沿网络能力评估的团队。我只是想让你了解我的立场，因为我不能直接说实验室里到底发生了什么——那是私人的。

但我有创建过一个团队，做的实验和OpenAI模型爆发时类似的实验。我们在这个社区里，跨实验室里彼此都算是认识的。

话虽如此——实验室的培训团队和评估团队之间的文化氛围有一种狂野西部的感觉。每个人都承受着巨大的压力，必须迅速推进。发布新模型的时间压力巨大，大家对每个实验室在能力上的表现有着极高的关注。

自2022年秋季ChatGPT推出以来，这个领域发展得非常迅速。整个过程有点模糊——在这段时间里，所有在实验室工作的人都得每周工作六十小时。

所以我并不惊讶，研究生之间的计算机科学实验室文化围绕这些模型训练运行的安全感，我认为事实就是如此，这也是为什么你会看到实验室外流的原因。

这很讽刺，因为前沿AI专家们一直在谈论安全——但这种讽刺是真实存在的。由于这些动态，安全措施并不理想。

乔丹·施奈德：那么你觉得，如果成年人更认真对待这件事，在按下运行键前深呼吸，那么一旦人们产生了敬畏症，我们就不必再害怕失控的人工智能，而这起事件正是如此？

约书亚·萨克斯：以AI目前的能力水平——或者说三个月前——确实，实施基本且已知的安全措施本可以阻止这些事件。这些做法是更好的沙箱技术。

模型是沙箱化的——对你的受众来说，沙箱意味着我们限制模型在非常有限的行为范围内，不允许它们做像与互联网上随机网站对话这样的操作;它们只能执行特定命令。

模型被沙箱化，但做得不够好——不足以防止这些逃逸。而且似乎没人监控模型，而标准做法是由人工团队监控不良行为。以当前级别的能力，这足以阻止这些事件发生。

在安全方面做出了很多糟糕的选择——不仅在OpenAI，所有发生逃逸事件的实验室。

我也认为，如果当前的进展速度持续下去，这将变得更加具有挑战性，我们必须更加有创造力和创新性。很难确保这些大规模的训练运行，因为它们本质上是大规模运作的。

要让模型解决比如需要几天时间的编码问题，你需要成千上万甚至数万个模型并行解决问题。我们让人工智能变得更好的方式是通过扩展——所以这些训练运行需要变得更大、更长时间、更并行运行，并解决更复杂的任务。

而且任务压力越来越大，要求它们更贴近现实世界。OpenAI模型之所以能逃脱，部分原因是它们通过Artifactory能力获得了从互联网下载包的能力——这正是现实世界中模型所做的。

如果你想训练模型来解决现实问题，就需要在给予它们多少访问权限和训练安全性之间做出权衡。随着我们扩大培训规模和模型能力提升，安全挑战将会越来越多，安全投资也需要不断增加。

目前关于如何保障它们安全的事实，一年后将不再适用。

乔丹·施奈德：让我们来做AI网络观察站的推介。

网络观测站的理由

约书亚·萨克斯：感觉这里存在潜在的风险，但我们并不确切知道它会如何实现——而且由于技术与社会之间的互动极为复杂，基本上无法预料。

所以，可能比为任何一个可能的未来做准备更重要建立国家能力，理解实际显现的风险及其发展轨迹。我们目前没有那种国家能力。美国政府没有任何机构——据我所知，任何友好政府——能够追踪对手如何使用人工智能以及我们应如何准备的所有风险信号。

我们需要一个真正做到这一点并能向政策制定者提出良好建议的机构。

乔丹·施奈德：好，我们的预算是多少？我们在找捐赠者——来吧，我们来做个提案。

约书亚·萨克斯：人工智能捐赠者社区中有捐助者愿意资助这项工作，所以我们不会被资金瓶颈困住。我们被人才堵住了。我们正在寻找一个有人工智能背景、网络安全背景，并且喜欢构建统计模型和预测模型的人，这些模型是我们试图预测的对象无法直接被直接观察到的。

例如——勒索软件团伙是如何使用人工智能的？我们无法直接观察，但需要统计模型来帮助我们理解。需要一个喜欢做这类工作，并且能让分析对政策制定者和公众清晰可见的人。

如果我们能找到这样的人，就有足够的资金成立一个专门追踪人工智能网络安全风险格局、追踪防御者如何使用人工智能，并向政策制定者提出更好的风险应对建议的组织。

乔丹·施奈德：让我稍微扮演一下反方角色。我理解总得有人做这项工作并提出建议。但你刚才说了——我们还没准备好，世界还没准备好。

难道不需要疯狂的改版、特效，或者一部电影吗？真的会是更多的报道让西奈山提升表现吗？

约书亚·萨克斯：那么我们需要更多专家式的政策分析吗，还是说这只是让人感觉良好的内容？

乔丹·施奈德：我是说——我他妈的主持ChinaTalk。当然我们支持学家式的政策分析。但问题是，我们现在需要的是更广泛的社会对人工智能和网络风险的反思，而这不会通过政策报告实现——还是我们只需要一套操作手册，一旦有了操作手册，我们就能付诸实施。

约书亚·萨克斯：我举个例子说明这些可能带来的帮助。正如你所知，美国政府曾一度阻止Anthropic的Mythos模型上线，也曾短暂封锁OpenAI的GPT-5.6，理由是这些模型存在过大的网络安全风险。

他们的理由是，当你测量这些模型的网络能力并进行寻找漏洞的实验时，模型的能力阈值已超过，无法公开。

我认为这个决定应该通过观察防御方实际如何使用当前AI漏洞检测能力、攻击方和防御方在实际使用以及我们关键基础设施的脆弱性的多大信号来做出。

如果他们做到了，就会发现防御方在AI漏洞发现方面取得了巨大成功——我们已经修复了数万个漏洞——而攻击者大多依赖社交工程和利用已知漏洞，而非这些模型发现新的零日能力。

如果能更快发布这些模型，将是净利局。因此，拥有一个能够整合所有这些信号并提出明智建议的组织非常重要。

即使我们需要付出很大努力才能开始提升网络防御，你仍然需要一个观察组织——就像在新冠疫情期间，拥有病毒热力图以及疫苗接种和口罩影响分析非常有用一样。

你需要数据，这样你才能建立一个关于如何应对危机的OODA循环。如果只是大家凭感觉，我们就不会有很好的OODA循环。

乔丹·施奈德：好的。我们可以有热力图，也可以用TikTok剪辑器，这两者结合起来真的能让我们达到目标。

约书亚·萨克斯：这是希望，没错。

乔丹·施奈德：那么，如果你想运行约书亚的人工智能网络观测站，接下来你应该做什么？

Joshua Saxe：只要发邮件给我，josh@abundantsecurity.co 和/或填写此表格我们很乐意和你聊聊。

是不是该让AI暂停一下？

乔丹·施奈德：让我们把这分解成人工智能末日的三个组成部分：人工智能自行失控，然后是国家，然后是网络犯罪。从人工智能失控开始——你似乎最关心的是新的训练运行，而不是那些已经训练好并投入野外的模型，这些模型开始自我感觉良好，并进行神风特攻队支持未来的人工智能霸主。

那么，Joshua，是不是该暂停人工智能了？截至2026年4月，第一阶激励——“另一个实验室要抢先一步”——似乎已经超过了第二级激励，即“如果我们犯太多这些错误，整个行业就会被关闭”。

这一切背后还有资本主义在运行，对吧？

约书亚·萨克斯：是不是该暂停一下？在某个乌托邦世界里，人们协调得比现在好得多，也许我们会暂停一下——做大量安全研究，实施所有安全措施，然后再按播放键。

听起来很棒。如果你能让所有中国实验室、美国实验室都这么做，我觉得这不太可能发生。所以我认为我们需要制定一个现实的政策。

乔丹·施奈德：但如果我们希望这些模型继续变得更聪明——即使观看训练运行的人类不是研究生，而是在尽力而为——最诡异的部分是，阅读报告时，没有一个模型告状。

没有一个模型告诉人类，“嘿，也许这不是我们现在应该做的最酷的事情。”

约书亚·萨克斯：这令人担忧吗？是的，这令人担忧。随着模型越来越自主，我们把更多自主权交给模型，我们需要安全来跟上，而安全问题也越来越具有挑战性。

那么我们该如何做到这一点？我认为资本主义会对实验室施加压力，要求模型足够安全以销售。没人愿意在自己的基础设施里部署一个编程代理，结果只有0.1%的概率会被黑进其他公司。

因此，会有微观经济自利的压力，推动实验室达到一定的安全水平。但随后会有一些剩余的安全水平，实验室不会被内生激励去实施，为此我们可能需要某种监管。

乔丹·施奈德：但即使激励机制存在，只要做那些你失望于这些实验室没做的智能安全措施，能否让你在能力不断扩展时进入安全的培训运行？

还是说现在这些模型已经足够智能，我们越是推动它们，就越难用旧的操作手册来限制它们？

约书亚·萨克斯：首先，有几点需要说明。第一，不仅仅是安全性——为了让模型安全，还有很多事情需要发生。模型权重本身——神经元及其相互连接——都需要对齐。

这就是我们目前在行业里讨论这个问题的方式。它们需要拥有人类那种义务论，比如不通过黑客攻击随机公司来解决评估。有人在做这方面的工作。

然后我们还需要想办法在部署模型时监控它们。

我想在这里提出一个更重要的观点，那就是我接下来要列举的所有领域都有巨大的研究障碍——研究人员做了很多工作，但实验室还没有实施。

模型权重的对齐是一个领域——文献很多，但还没有全部实现。然后是监控模型——有大量工作是在模型运行时监测内部结构，看看是否出现错位。

对于阅读机器学习文献的读者来说，Owain Evans在这个领域非常有名——有很多关于理解模型何时在策划或撒谎及其在何种条件下的工作。

还有关于监控模型思维链的工作，OpenAI在模型突破沙盒时显然没有做这点——这就是模型的英文内部独白。还有关于监控模型调用的工具的工作。

还有沙箱化。安全层面非常多，在安全社区和网络安全领域，我们已经做了不少工作，积累了如何在每个层实施安全的知识。

但实验室需要吸收这些研究的负担。这是必须发生的事情。而且他们现在非常有动力去竞选。至少这是我在这些公司工作时的亲身经历——不谈私密的事情，作为这些实验室的安全人员，要把安全知识融入模型里其实挺难的。

但我的部分观点是，我们现在不需要像洛斯阿拉莫斯那样的安全措施。我们可能最终需要。我们只需要让实验室做我们已经知道的事情。

最终会有新的研究问题——不久之后我们会需要大量新的研究——但目前的优先事项是落实我们已知的。

乔丹·施奈德：好吧，我们会用你未来六个月的谨慎乐观态度，也许到时候再联系。

那个没有发生的赛博珍珠港

乔丹·施奈德：现在我想谈谈国家。即使没有流氓人工智能，庞大的新型黑客能力也正在上线——这些能力已经存在于Mythos和5.6等模型中，中国的模型也正逐步接近这一领域——此外，被黑的Hugging Face有望成为一个国家可以部署去执行其命令的工具。

但让我们先回顾，再展望未来。业内普遍共识认为，珍珠港事件在2000年代初预测的网络网络——作为一个对国家竞争具有实际战略影响的领域——并未实现。

过去25、30年我们看到的是战术层面和更佳的间谍技术，而不是通过黑客赢得或失败的战争。有哪些约束约束？

约书亚·萨克斯：你是在问为什么我们几乎从未见过战略层面的网络物理效应实现吗？我同意你的看法。也许战略效果的巅峰是“震网”行动，即美以对伊朗核计划的攻击，我认为它使几百台离心机失效。

那可能是我们最接近的一次，整体背景是国家军方在实现这些网络物理效应时感到失望。所以，我在国家安全领域长大，那时我们谈论网络珍珠港事件——从攻击能力的角度来看，这确实令人失望。

没有一个明确的答案能解释为什么。但也许我们也得问，为什么我们应该预料到它。我们为什么曾经认为可以用网络武器实现动能战级别的网络物理效果？

我不明白我们为什么会这样假设。以俄罗斯入侵后对乌克兰电网的攻击为例——他们成功切断了几十万人的电力四个小时，然后电网运营商切换到手动操作，重新开启电网。

我认为这与我们社会的设计有关。物理系统由互联网连接的系统控制，但通常也有手动操作的选项。

对我来说有趣的问题是：既然单一网络操作员可以将工作外包给N个并行行动的代理人，你现在能实现战略效果吗？如果你把它放大一百倍，并结合实际的实体军事行动会怎样？

也许网络战在经过二十年的讨论后，首次成为真正的现实。这似乎是可能且值得考虑的，尽管我对未来会发生什么没有很明确的立场。

乔丹·施奈德：俄乌战争是我们经历过最好的自然实验，基本上答案是“差点就成功了”。你无法像俄罗斯那样对核电厂进行轰炸，而非试图进行网络黑客攻击。

约书亚·萨克斯：首先，能力变化非常快。两年前，当我们开始在所有实验室的模型上进行网络能力测试时，简直是个笑话——他们最多只能完成杀链第一步的一半。

现在他们可以完成全部测试。虽然不能以非常隐秘的方式完成，但也许一年后他们会做到。如果我在NSA，我会对GLM 5.3进行培训后，做我们想做的那种操作。

所以很可能国家军队最终会这么做。未来这些武器的形态有些难以判断。我还认为指挥结构需要演变，因为目前在许多环境中，行动被某个人类决策者在网络领域决定是否攻击目标所限制。

特工群的价值在于你不会限制他们的行动——因此需要对决策过程进行思考。现在似乎不是提出强有力论点的合适时机。这是一个将进行实验的时期。

现在说这种能力的具体性质还为时过早，而且它还会不断变化。

一种新的武器类别

乔丹·施奈德：鉴于我们不知道正确的概念框架，那么支持和反对全球更有能力的情报社区引发网络末日的论据是什么？

约书亚·萨克斯：我稍作调整，因为我认为一级网络项目将能够以各种方式利用人工智能能力。其中之一是网络武器开发——目前最为人所知的领域。

你基本上可以用代币来支付bug费用。你把编码代理指向软件，他们就能发现可被利用的漏洞。这对所有拥有网络程序的军队来说都很有趣。

从我在DC和政府承包商时期——我想这是众所周知——有一群小型承包商会为NSA和军方发现漏洞。这些经济体将会发生很大变化。所有网络势力中也存在一种经济，围绕恶意软件的构建——后利用，即在受害者电脑上植入软件。

所有这些东西现在都可以被氛围编码。网络武器生产领域正在迅速变化，且可以变得更加高效。

还有那些实际操作操作的网络操作员，这些人现在可以扩展规模。对我来说，这对一线项目有多大帮助，尤其是那些人才众多、通常由小团队执行大型行动的项目，仍是一个悬而未决的问题。

很难确切知道像“极光行动”这样的行动涉及多少人——中国黑客入侵了许多美国基础设施，最著名的是谷歌——但人数并不多，可能有几十人。

所以我不清楚这些行动在劳动力上的瓶颈程度。如果劳动力严重堵塞，代理人就更重要。如果不是，计算机网络运营代理人的重要性就降低。

我认为二线和三线网络安全项目可能从这些中受益更多——他们没有能力的操作员，也没有同样的漏洞访问权限，现在，他们不必培训人员十年，只需让他们的代理人来完成。

还有可能的非国家行为体，他们根本没有网络项目。我不知道真主党是否有网络项目，但也许现在他们能拥有一个非常出色的项目，多亏了代理人。

这样的案例很多——可能有数十个想要网络能力的行为者现在都能获得。这是社会复杂性，非常难以预测。但我们应该为网络冲突发生方式的真正颠覆做好准备。

乔丹·施奈德：我现在真是被扭动了，因为你差点说服我相信资本主义会把这事保密。但如果我们说的是经过后期训练来破解的模型——国防局的人工智能安全套件会是什么？

真主党的是什么？这些代理会被连接到某处进行计算;他们不需要入侵新云，偷走所有人的信用卡才能启动。而且我们已经看到非AI超能力的蠕虫起飞，超出预期，关闭了经济的某些角落。

约书亚·萨克斯：为了这次交流，我会把安全分为两个威胁。一个威胁是由善意行为者部署的代理会失控并恶意行事——这正是OpenAI-Hugging Face被攻击事件中发生的。

另一个是利用模型试图伤害第三方的行为者。这是我们讨论的第二个问题。

乔丹·施奈德：我的心理模型是，即使这些模式变得更强大、运行成本更低，美中仍有巨大动力不关闭对方的发电厂、医院和水处理设施——被发现的可能性非零，且这样做的成本非常高。

只要有足够的指挥和控制，进入的代价是一个国家或某个有九位数财富可燃的人，理性计算就在进行。我们最终会进入一个秘密更难保守，但不会有网络末日的世界。

先说国家，然后再谈真主党和罪犯。

约书亚·萨克斯：其实，让我稍微反驳一下。你刚才提出的感觉有点像稻草人论，因为是的——美国和中国不会在和平时期就开始摧毁对方的关键基础设施。

但在战争时期，我们会互相使用武器，对吧？而且这是一种新武器类别，可能扰乱战争。我认为第二点更有趣。

乔丹·施奈德：说得有道理。但我们先来谈事故案。假设我是一个情报机构，后期训练了一个模型来黑客攻击，我让它变得更狡猾，而且我没有运行完整的安全系统。

现在是和平时期，我们只是想监视一些东西——但六个月后，模型变得更好，它们自己运行得更快，做的事情超出预期，突然间全球航运就崩溃了。

这真的是个风险吗？

约书亚·萨克斯：所以你担心这些模型会带来无意的、可怕的影响？

乔丹·施奈德：是的——即使在我们在前二十分钟设想的世界里，实验室们学会如何安全训练和部署长效人工智能。严肃组织开展严肃的间谍行动，或为第三次世界大战铺路，但实际上可能因意外而引发网络末日。

约书亚·萨克斯：这是可能的。我个人对此的担忧远不如担心这些模型被故意用来造成伤害。和平时期有很多人试图用这些模型制造伤害——网络犯罪分子、勒索软件团伙。

而且有很多行为者会很快造成伤害。我不想针对真主党，但我在想非国家行为体——

乔丹·施奈德： 他们这几年过得很艰难。你得尊重他们的名声，乔什。

约书亚·萨克斯： 不，不——伊朗/美国/以色列，或俄罗斯/乌克兰周围有活跃冲突，人们可以立即开始使用这些能力。还有一种可能性，美国和中国开始装备武器，一旦发生冲突，这些武器可能会被部署。

在很多方面，这些武器就像无人机一样，是一种新型武器。但这使地缘政治变得复杂。这是一项重要的新能力。我反对“末日，是或否”的框架。

我认为这里有一个连续体，更有趣的问题是：这项新能力会带来多大的破坏性？

通过按下按钮赢得战争

乔丹·施奈德：这项新能力会带来多大的颠覆性？

约书亚·萨克斯：从地缘政治角度看，大规模网络特工黑客对战争的重要性可能比以往任何时候都更高。一旦你打破了网络行动的瓶颈——这样你就不需要每个任务都派人，可以让一个人管理庞大的黑客特工舰队——国家军队和非国家行为体似乎终于能实现对对手产生真正重大物理影响的梦想。

从误算的角度来看，这也很有趣。如果有人十八个月前睡觉时内化了一个完美的人工智能对网络战影响的模型，今天醒来却在执行政策，那他的政策将完全错误——因为这些能力已经从基本的笑话变成了超乎寻常的漏洞。

所以这值得关注。这将成为地缘政治中一个重要的元素。

乔丹·施奈德：十八个月后有人能相信只要按一个按钮就能赢得战争——即使他们自己不能——你或许能说服自己相信那个未来，这是一件危险的事。

约书亚·萨克斯：或者只是产生改变游戏规则的战略效果。我不清楚当时对Stuxnet的具体期望，但期望和实际发生的事情是不同的。Stuxnet那时候你需要最精英、最有才华的人，而他们很少能做这样的行动。

现在规模扩大了。你可以想象一个大型政府项目在训练完开放重量模型后——比如今天的Kimi K3或GLM 5.3，但它们还会越来越好——投入一亿美元甚至十亿美元打造这项能力，期待在某种战略性突袭中释放它。

然后谁知道会发生什么，因为这还没有经过测试。

乔丹·施奈德：政治经济学总是说你的东西很酷。如果你把它卖给政府，如果你是想晋升的少校，如果你想增加预算——谁知道这些地方分配了多少计算资源？

每个人都想要更多的GPU。一旦你拿到GPU，你就得展示你在用它们做点什么。

约书亚·萨克斯：没错。如果我辞去私营部门，去做DARPA项目经理，我会要求20亿美元用于后期模型的计算机网络运营。然后我会大力推销这笔资金。

正如你所说，这真是太棒了。

乔丹·施奈德：我不断调整自己的恐惧程度。

约书亚·萨克斯：时间序列是什么？你是不是更不紧张，还是更紧张？

乔丹·施奈德：我觉得我有点进步了。但我们还没谈过防御方面，这部分值得深入探讨。还有希望，我们只需按下一个按钮，所有代码就能永远修复。

为什么辩方可能会获胜

约书亚·萨克斯：我对此并不乐观——这显然是个夸张的形象，而且不会很快发生。但人工智能在防御方面非常有用。我感觉到目前为止，它在防御方面比进攻更有用。

它能带来什么？它允许在你发布代码前，先对你的代码运行所有AI漏洞检测工具，这是厂商的巨大战略优势。是的，攻击者可以花费大量代币来寻找代码中的漏洞——但如果你能先运行所有这些工具，就能真正加深代码，让对手更难发现可利用的漏洞。

在过去一年里，人工智能在这方面奇迹般地高效。几个月前，谷歌的一个团队在博客上以一种令人愉快的方式自豪地炫耀他们如何发现并修复了成千上万的 Google Chrome 漏洞——而且他们似乎在攻击者利用他们之前就已经做到了这一点。

人工智能还可以用于监控网络中的所有活动，以发现入侵并在其扩散之前将其阻止。防御性劳动力因我们大规模监控网络的能力而成为瓶颈。

已有25年时间，我们构建了检测漏斗，在网络中设有可疑事物的探测器，但随后人类必须跟进，判断是否真的发生了泄露。即使是大型超大规模公司，也只有数十人监控网络，这些网络是全人类通信的基础。

因此，这是一个改变游戏规则的因素——现在你可能拥有数万个看似超智能的人工智能，能够在人们的网络中检测入侵。

在许多情况下，人工智能对防守方可以极为有益。即使在极限——防守者如何部署AI的柏拉图式理想中——AI是防守主导的。防守方最终可以通过AI达到更好的局面。

显然，现实世界不同;我们如何推行这些产品充满瓶颈和高摩擦，这也是问题的一部分。

乔丹·施奈德：我的大脑不断回想，自己骗自己，以为你有战略效果，只要按下播放键就能启动——比如让武器系统下线，或者其指挥控制，或者敌军之间的通信能力。

也许你的乌克兰发电厂有个手动模式，某个65岁的老人记得它怎么运作，能按下开关。但我们已经没有冷战时期的无线电背包了，现代战争的大多数战斗也没有可以切换的有线备份。

也许你可以在几周或几个月内显化一个目标——但仅靠代码就能实现战略效果并不疯狂。

约书亚·萨克斯：不，我不这么认为。一种说服自己的方式是：如果俄罗斯能够瘫痪乌克兰部分电网，并为几十万人断电四小时——如果他们在入侵期间同时在一百个地方完成这件事呢？

这在战略上已经很有趣了。而且模型现在比人类更擅长寻找零日;它们可以全天候运作。它们在各种方面都表现出超人般的能力。我会为未来用这些武器实现战略效果的概率打赌。

乔丹·施奈德：而且这不仅仅是实现战略效果——而是有人能面无表情地站在国家领导人面前说“我能做到”。无论是否奏效，我们不希望这降低了引发新战争的门槛。

某个地方肯定会有人向某个领导人提出这个说法——比如2021年底的普京，他想找理由相信自己能赢。这只会给一个倾向于这种理由的人。

约书亚·萨克斯：我认为这是合理的——很有道理。我回想起Stuxnet——你的听众应该查查细节，因为我不记得具体细节，但那是一次资本密集的行动。

我记得以色列和美国在内盖夫沙漠安装了真正的离心机，并在开发过程中测试了网络武器。他们还烧毁了大量新的零日制。这是网络武器研发中的惊人技术壮举。

不难想象，如果要投入同样的资本密集型努力，建立模拟或真实关键基础设施的网络靶场，花费数十亿美元训练开权模型，使其攻击能力更强。

然后声称你拥有了这神奇的新网络武器。

网络犯罪行业

乔丹·施奈德：从中国或美国花费数十亿美元，逐步减少到你邻近帮派或朝鲜——正确的理解方式是什么？首先，让我们理清过去三十年网络犯罪所能取得的成就，然后展望人工智能为这一群体带来的贡献。

约书亚·萨克斯：网络犯罪已经成为一个真正的产业——或者说一系列行业。每年损失在五千亿到一万亿美元之间。还有国防成本。这对世界经济造成了重大拖累——可能影响全球GDP的0.5%到1%。

我从一个Gov.ai大约一年前的研究估计损失达5000亿美元，尽管范围很大;McAfee的研究估计达到一万亿美元。背后是一个相当复杂的分工。

有些组织专门构建用于勒索软件攻击的恶意软件，有些则专门部署恶意软件——他们购买勒索软件并专门操作它。在这内部还有进一步的分化：一类是专门获取初始访问权限、进入受害者网络的立足点;另一类则是一旦从访问中介处购买了初始访问权限后，专门攻破整个网络并勒索赎金。

我说的杀链是指攻击者组织在实现目标前执行的一系列行动。其中一些勒索软件组织使用与国家相同的杀戮链，能力接近国家级别。

乔丹·施奈德：所以，最好的做法已经从NSA传到了你们哈萨克人手中。

约书亚·萨克斯：没错。最先进的勒索软件组织在人才水平、网络武器库、使用的恶意软件，有时甚至利用漏洞方面，看起来很像国家级的行为者。

它们相当先进。过去这些攻击相当简单;现在可能是复杂的盗窃，涉及数月入侵网络、悄无声息、泄露所有数据、加密硬盘，最终索要赎金。

乔丹·施奈德：所以想想墨西哥贩毒集团，枪械和追捕他们的军队一样庞大先进。仍有军队拥有F-35，没有哪个帮派拥有F-35——但在网络安全领域，情况不一定如此。

有什么比喻吗？我猜好人拥有更多的计算能力和人力。防守方能带来什么？

约书亚·萨克斯：比如勒索软件团伙和国家军队的比较，然后是勒索软件团伙和防御者的比较。就国家军队而言，这取决于你在比较谁。美国网络网络项目在网络战争上投入了超过100亿美元，所以在投入水平上无法相比。

但这些做法在入侵和移动方式上往往相似。勒索软件与防御者——防御环境非常依赖权法。有些金融公司有数百人从事网络安全工作，比如Blackstone，或者像谷歌或Meta这样的超大规模企业。

但还有区域医院网络，有时是IT人员加上另一名可能学习安全知识的IT人员。这非常不均衡，很多时候长尾受害者反而是受害者。

乔丹·施奈德：他们会被欺负，当然。所以网络犯罪更像是全球经济中的一个恼人疣，而非网络珍珠港事件——短期内的严重影响，但从未真正阻碍全球增长或造成大规模人口灾难。

全球网络犯罪的复合年增长率是多少？你有多担心俄罗斯帮派在接受GLM培训后能获得100倍的回报？

约书亚·萨克斯：我试图获得过去十年网络犯罪的良好复合年增长率估计。这是一个模糊且充满不确定性的领域，但我认为10%是我对其增长速度的估计——相当快，因为诈骗、欺诈和勒索软件已经工业化。

所以这已经令人担忧了。我同意这对世界经济来说是个瑕疵，不是灾难。但这确实是一个真正的问题——不仅是直接损害，还有因为安全摩擦导致许多企业运营的烦人，而这些都是其后续的结果。

接下来会发生什么——合理推测，未来几年网络犯罪会恶化。一个简单的心理模型：软件工程师的生产力可能提高了三倍，这都要归功于编码代理。

也许网络犯罪分子入侵网络的效率提升了三倍。这是一个粗略的心理模型。至少，我们应该做好准备。政策制定者应该考虑：在三分之一的可能宇宙中什么都没变，三分之一宇宙情况逐渐恶化，三分之一情况下，攻击者突然拥有大量代理人，业务大幅扩张。

无论概率如何，我们都应该为此担忧。

卧室设备上的虫子

乔丹·施奈德：计算是这里的限制吗？你需要的规模是否能满足你那友好的邻居黑客需求——你是租用neocloud，还是自己买机架？长尾融资是否过高？

约书亚·萨克斯：我认为资本支出的要求对攻击者来说并不算太糟。首先，人工智能的计算效率呈指数级提升，而且目前还不清楚这种效率是否会减弱。

今天和两年前的差别简直天壤之别。现在你可以下载一个月前发布的新Qwen 32B模型——经过训练执行代理行为——它很可能能在我的笔记本电脑上运行。

它不是前沿模型，但合理推断，十二到十八个月后，你可能会拥有一个在简陋计算基底上运行的计算机网络操作，表现相当不错的模型。

即使在今天，你也可以买一台NVIDIA设备，可以在卧室里运行，运行更大的模型——数万亿参数，非常接近前沿。遗憾的是，这不是那种需要启动数据中心的事。

乔丹·施奈德：你能谈谈超级有创意的零日网络犯罪与单纯社交工程——钓鱼、让人相信你是他们的母亲或老板——之间的区别吗？

约书亚·萨克斯：如今，如果不是大多数，最初进入网络的多数是来自社会工程，而非利用漏洞。这在许多国家攻击和网络犯罪中都是如此。

攻击者并不总是想用最复杂的手段——他们只是想实现目标，而社会工程学是实现这一目标的非常可靠的方法。有研究探讨钓鱼对人体的有效性，如果你设计出好的钓鱼邮件或假网站，人们很容易上当。

所以攻击者使用的策略复杂度和网络行动的复杂度是分开的。有很多人在使用基础技术。

乔丹·施奈德：关于社会工程学——现在俄语能写母语英语，我们难道不已经看到人工智能的提升吗？

约书亚·萨克斯：这是个很好的提示。我们看到人工智能在社会工程中被广泛应用，做一些基础工作，比如机器翻译或语言清理——如果你遇到的不是英语母语者，或者你需要用其他语言发送钓鱼邮件，使用人工智能是很常见的。

真正的问题是，人工智能造成的边际损害有多少，否则不会发生。也许现在这些邮件看起来更可信了。但即使英语不好，你也能找到人点击邮件——这在过去十年里已经被充分证明了。

联邦调查局有一份不错的报告显示，有一些小额边际损失，但并不算特别大。为什么会这样，仍是一个悬而未决的问题。部分原因是犯罪企业——勒索软件团伙、猪肉屠宰业务——是有其创新采用曲线和动态的企业。

没有理由指望白俄罗斯的勒索软件团伙比德勤在咨询工作中更快采用人工智能。他们正处于自己的采纳曲线上。仅仅因为我们还没有看到巨大的反事实损害，并不意味着我们不会看到。

乔丹·施奈德：关于网络犯罪，大家还应该注意其他一些想法吗？

约书亚·萨克斯： 作为一个运行在IT基层上的社会，我们很可能还没有为这里一些合理可能的未来做好准备。这部分——也许主要是——政策问题。

我们需要想办法提升IT基础设施的难度——这里的难度是指被黑客攻击的难度。我认为风险信号进入美国经济的速度还不够快，无法让我们做好准备。

我们不习惯像这样指数级提升技术，这似乎是一个风险很大的情况。

想接收新文章并支持我们的工作，请订阅！

哦，还有，在做这份文字记录时，克劳德把我从《寓言》降到了作品4.8，因为它被标记为网络......