自主与创新

听这个后:

登录收听

虽然并非所有西部片都遵循这种陈词滥调，但到了1930年代，牛仔连载剧已经找到了一个统一的视觉线索：剧中英雄戴白帽，反派戴黑色帽子。

但归根结底，他们俩都是戴着牛仔帽的牛仔。

西部片现在已经不再是文化的主流，但“白帽”和“黑帽”的称呼在科技领域非常相关：专注于修补漏洞和保护软件的黑客被称为“白帽黑客”，而专注于恶意利用漏洞的黑客则被称为“黑帽黑客”。

当然，这很快就会变得复杂：政府可能会雇佣黑客入侵敌方软件安装——他们是白帽还是黑帽？或者考虑漏洞赏金计划，大型软件公司向发现并报告漏洞的黑客支付漏洞赏金;基本上就是用钱激励潜在的黑帽黑客成为白帽黑客。

真正的结论是，所有这些复杂性都被过度渲染了：就像牛仔就是牛仔，黑客就是黑客;帽子不是能力的陈述，而是意图，而这些意图由激励机制塑造。

攻击基础设施的最佳方法是找到漏洞并加以利用;防御基础设施的最佳方法是找到漏洞并修补它。技能是一样的。

能力、意图和激励之间的界限在人工智能领域至关重要。在上个月文章的结尾谁害怕中国模特我讨论了模特主持人Hugging Face刚刚遭遇的一次神秘攻击，他们只能靠无重中国模特的帮助抵御，并写道：

特朗普政府对Anthropic发布《Fable》的惊慌反应有多么错误，难以夸大，尤其是这加剧了Anthropic最糟糕的倾向——认为只有他们能信任强大人工智能。在一个只有一个人工智能的世界里，最强大的网络安全能力或许应该留给美国政府和可信赖的盟友;然而，这并不是我们生活的世界。已经存在并且将会有能够对现有基础设施发动网络安全攻击的模型，而这些模型已经广泛可用。最好的防御——实际上唯一可行的防御——是确保防守者也能使用最好的模型。目前，由于特朗普政府的指令，防御者实际上被禁止使用Fable或Sol进行网络安全;这意味着最好的替代方案是使用一个多年来一直试图削弱我们网络防御的国家的模型。这太疯狂了！

观点正如我在开头所说：在网络安全领域，良好防御所需的能力，正是良好进攻所需的能力;帽子的颜色取决于谁在实际提示AI。

而且，有时连这一点都不清楚：事实证明，入侵Hugging Face的实体实际上是OpenAI，因为一系列不受约束的代理在评估其网络安全能力时，发现并利用了他们沙盒中包管理器中的一个漏洞;该包管理器具备互联网访问和足够可写的文件系统，使代理能够随时间相互通信。

整个漏洞发现和漏洞利用的过程最终导致了所谓的“拥抱面事件”。

拥抱脸事件

关于这起具体事件的影响以及它对人工智能风险的启示，还有整篇文章待写;我的一些结论还未确定，等待OpenAI承诺发布的深入技术报告（我的初步结论是，这些代理并非“作弊”，而是执行了他们的任务;当然，这也是甚至可以说更可怕).不过，我今天想重点谈的部分，是在这是OpenAI的Eric Wallace和Michael Dalton在Black Hat USA大会上的演讲关于拥抱脸事件。

这是道尔顿总结的教训：

我们已经看到进攻方进攻能力的显著加速。我们拥有一个无意的存在证明，但它确实摆在我们面前，因此我们得以窥见我们行业攻击未来可能发生的景象。挑战在于我们需要类似的防御加速。如今我们认为全自动进攻是可能的，但我们没有存在的证据证明核心防御循环和行为循环的完全自动化。我们认为此刻必须加快防御进程，并寻找自动化SDLC（现代术语中）的方法，即事件响应、漏洞检测、漏洞补丁。有些问题是行业亟需紧迫着头皮开始应对的挑战。所以持续的主动红队就是其中之一。正如你从这次事件中看到的，代理在发现公司基础设施中的零日攻击方面非常擅长。现在将被提出的问题是，公司是否能够投入足够的模型智能和努力去发现并修复漏洞，而不是被其他威胁行为者代为修复。这种运营方式现在会有所不同，但最终我们需要投资于AI特工红队，使防御方能够在攻击者之前发现并修复漏洞。但自动化这些防御循环并非易事，如果我们部分做到这一点，就无法达到刚刚看到的进攻加速的可扩展性。例如，如果我们自动化漏洞发现而不自动化补丁，瓶颈将从漏洞补丁转向修复，我们会淹没或淹没大量人工软件工程师来修复和修补新漏洞。这不是一个我们能部分解决的最终状态问题。我们需要将这些核心防御循环完全自动化，这需要与基础设施和产品合作伙伴进行对话，达到一个阶段：如果发现了漏洞，不仅代理能识别漏洞，还能让代理提出补丁建议，我们可以拥有自动化基础设施来配合补丁推送变更， 如果发生可用性事件或停机，则回滚。这个循环在最终状态下必须完全自动化。当然，我们希望尽可能快速地逐步且不断迭代地自动化，但如果未能达到那个最终状态，我们将比较一个由人类参与且速度较慢且扩展性较低的核心防御循环，与一个全自动化的进攻循环， 而这对这个行业来说是一个不可持续的境地。

这种情况显然是全新的;道尔顿认为这将成为常态。然而，他提出的一些问题一点也不新鲜。

回到虫子赏金计划的概念。软件极其复杂且脆弱，建立在代码基础上，如果你深入挖掘，往往可以追溯到几十年前;代码和依赖太多，无论多么注重安全，都无法确保它完美无缺。

这一现实为黑帽黑客创造了机会：恶意行为者可以探测软件，发现漏洞并加以利用;最有效的防御准备就是做同样的事情。这可能包括由“红队”进行常规渗透测试（渗透测试），或者直接支付潜在不良分子的费用让他们站在你这边。

不过值得注意的是，这种防御方法是在进攻性黑帽黑客多年入侵系统之后才出现的。问题不在于他们独有能力，而是他们有独特的激励：入侵系统是好生意;而托管这些系统的公司则缺乏足够的动力去投资国防。

如果什么都没发生，花钱在安全上是值得的，不幸的是，这在预算中很难争论，因为它只提升了成本，而非收入。

这正是道尔顿担忧反映出行业过去冷漠的地方。Hugging Face事件表明，代理凭借计算能力和自主开发漏洞利用的能力，如今依然构成威胁，但企业并未投入足够的防御能力。

不过有好消息：在这个新的代理定义安全环境中，防御应将处于黑客时代所没有的优势。过去，防守方最好的做法就是模仿进攻方的战术，或者用钱收买，因为提前发现所有漏洞是不可行的。

然而，这种情况正在改变：实际上——或者很快——可以仔细审查整个代码库，包括所有依赖，找出漏洞并进行修补。注意防守方的结构优势：他们实际上掌握了相关代码;攻击性特工需要探查并发现漏洞，但没有同样的优势。

然而，道尔顿概述中最有启发性的是，他解释中蕴含的含义是，为什么目前这还不够。具体来说，黑客自动攻击的期望值总是正值。如果攻击方发现漏洞并创建了漏洞，而该漏洞失败或本身存在漏洞，那么现状就没有改变：漏洞无效（或者反常地，因自身漏洞而使原始漏洞更大）;如果代理完美执行漏洞利用，攻击者就获得了系统访问权限。

攻击只需奏效一次，整个行动就能获得积极回报。

而对被告来说，挑战在于必须保持相关软件的正常运行，同时不让情况变得更糟。这意味着任何自动化都具有负的期望值：成功的自动化漏洞发现和修补保持了现状，即软件未被黑客攻击。

然而，任何失败的补丁都会使情况更糟，要么破坏软件，要么引入新的漏洞。代理人只需失败一次，整个努力就会产生负收益。

这正是导致道尔顿描述的情形的动态：进攻方完全自动化，而防御系统即使使用人工智能，也会被激励让人类参与，而任何人类都无法跟上全自动特工的进攻。

真正有效的防御意味着真正信任代理自主行动，但大多数公司只有在被完全自主攻击者持续不断的黑客攻击迫使他们时，才会这样做。

为什么人工智能扩散需要时间

周末，大卫·森拉发布了消息一期新播客，由OpenAI首席执行官Sam Altman主持奥特曼承认他之前对人工智能扩散到更广泛经济体的速度是错误的：

我喜欢初创企业。我认为初创企业是经济中最酷的东西，我一直在努力真正理解初创企业，我以为当我们到 2023 年达到 GPT-4 时，很快就会有更多软件业务的颠覆，而非实际情况。我对一些事情判断错了，其中一个关于速度，其中之一是经济体有非常大的惯性。人们一直在做他们正在做的事。他们一直从同一家公司买东西。他们总是想用同样的方式使用他们的工具。我认为这在很多方面都是积极的，会让我们面前的重大转变更加顺利、更缓慢。我很感激。但我认为这意味着即使有这项令人难以置信的技术，我们对时间表的期望也过于雄心勃勃。我认为人工智能是人类发明过的最令人难以置信的技术之一。社会和经济的适应将更缓慢。

我当然认为奥特曼说得对，人工智能整体和软件需要更长时间才能全面扫荡经济;我一直在反对这些时间表.我也认为他的回答在解释原因时不完整，而道尔顿关于进攻特工与防御准备之间不匹配的警告解释了这一点。

首先，GPT-4是一个令人难以置信的突破;而且它也远远没有足够的能力真正取代现实世界的软件。它甚至没有推理能力，而推理正是达尔顿所描述能力的关键突破。

其次，所谓模型能力不足，意味着它会犯错且不可信。人们可以且理所当然地被人工智能的能力所震撼，但是否真正实施人工智能的决定，并不是基于能做什么，而是基于是否能避免关键错误。

换句话说，现有公司不可避免地会以负的期望值框架来对待人工智能：理想情况下，人工智能会提升现有运营的生产力;他们最担心的是人工智能犯错，结果自食其果。

这意味着人类将继续参与其中，这永远是一个瓶颈。

从长远来看，这将是一个错误，就像公司在代理辩护时让人工参与也将是错误。正如道尔顿所说，防御全自动攻击的唯一方法是完全自动化防御，但防御者需要一段时间才能接受其中的权衡。

同样，赢得该类别的公司将真正由人工智能驱动，而不仅仅是作为提升生产力的工具。奥特曼回答中最大的讽刺在于，他实际上指出了这些公司的兴起方式：它们不会是既有公司彻底改革运作方式;真正的AI原生公司将是初创企业。

持续创新与颠覆性创新

早在2023年，ChatGPT刚推出不久，我就提出了这个问题人工智能与五大联盟至于人工智能是持续创新还是颠覆性创新：

2022年的故事是人工智能的崛起，最初是图像生成模型，包括DALL-E、MidJourney和开源的Stable Diffusion，随后是ChatGPT，这是首个取得重大突破的文本生成模型。在我看来，这显然是一个技术的新纪元。不过，要确定那个时代可能的发展，回顾26年前最著名的战略书籍之一——克莱顿·克里斯滕森的《创新者的困境特别是关于不同类型创新的这段文字：

大多数新技术都促进了产品性能的提升。我称之为持续技术。一些持续性技术可能是断续性或激进的，而另一些则是渐进式的。所有持续技术的共同点是，它们提升了成熟产品的性能，这正是主流市场客户历来重视的性能维度。某个行业的大多数技术进步具有持续性的......颠覆性技术为市场带来了与以往截然不同的价值主张。通常，颠覆性技术在主流市场表现不如成熟产品。但他们还有其他一些边缘（通常是新）客户看重的功能。基于颠覆性技术的产品通常更便宜、更简单、更小巧，而且通常更方便使用。

回顾过去，通过观察现有公司在创新上市后的表现，判断创新是持续还是颠覆似乎很容易：如果创新持续，那么既有公司就会变得更强大;如果它是颠覆性的，那么初创公司大概获得了大部分价值。

我认为这体现了人工智能的惊人能力，因为它正在为两者兼具。人工智能目前带来了巨大的生产力提升;对大多数知识工作者来说，利用这些优势是一种自主权，但对软件开发者来说，这变得越来越必要。

然而，能动性与必要性的区别非常重要：如果利用某项技术依赖于人类自己去发现，那么渗透将受到人类创造力和冒险精神的限制。这些限制在任何成熟公司中都会非常严格，因为风险计算会倾向于避免负面影响。

这些计算会让AI持续存在，但仅此而已。

然而，作为初创企业的人类创造力和冒险精神，则是完全不同的风险模式。对于初创企业来说，基本情况是失败;这意味着任何让成功更可能发生的事情都有积极的期望值，也就是说，真正投入人工智能只有带来积极的好处。

换句话说，初创公司将成为进攻性的黑客，因为自动化一切，毫无损失;他们将攻击的正是那些担心失去现有资源的现任者，以至于会让人类长时间陷入错误的循环。

同样的工具，不同的激励，从长远来看，结果也截然不同。