与人工智能相关的重大可靠性事件正在到来

最近，有两篇与人工智能相关的内容引起了我的注意。第一篇是那篇博客文章On-Call 现在是戏剧作者：鲍里斯·塔内。他认为人工智能代理现在能够完成大部分人类正在完成的值班工作，我们应该让人工智能代理充当第一响应者。

只有当人工智能代理无法解决问题时，才应真正派遣人类介入，并且代理应负责呼叫人类。正如他所说：

我们需要软件自我监控，自行分流警报，自行调查事件，修复能修复的部分，只有在遇到真正新颖且已有证据时才会升级到人手。

把你的AI客服安排在最糟糕的值班轮换中，然后给他们一个工具去呼叫真人。开发者不再是第一响应者，只有当客服真的无法解决问题时才介入。

塔内认为公司不会真的开始让AI客服值班（“大多数团队不会这么做”），但他相信这一点应该发生了，他创办了一家公司基于这个前提。

我喜欢把让AI坐标随叫随到看，就像用AI坐标来实现控制系统自动化一样。毕竟，这正是运维工作的核心：采取控制措施来保持系统处于健康状态。

人工智能代理是极其复杂的软件系统。我认为它们是我们人类建造过的最复杂的软件系统。这种复杂性既有好处也有坏处。阿什比定律它教导我们，系统状态越大，控制系统需要越复杂。

正是这种复杂性使得原则上能够应用人工智能代理来解决类似的通用控制问题。

另一方面，系统越复杂，人类就越难以推理其行为。当系统健康时这没问题，但如果你的系统变得更复杂，自动化无法应对，问题可能会更加严重。

事实上，这正是复杂控制系统的意外行为这导致了最严重的复杂系统故障（参见：法航447,波音737 MAX事故).

这也引出了我最近看到的另一条内容：那个BlackHat 的 OpenAI 演讲（多谢大卫·布兰克-埃德尔曼).是的，是37分钟讲话但我鼓励你去看。

演讲详细讲述了人工智能代理令人惊讶的行为，导致OpenAI和Hugging Face的安全事件。说实话，这场演讲感觉像是一部关于科技失控的电影;对我来说，这种内容至今仍像绝对的科幻。

因为这是在安全会议上发表的，演讲者们重点讲述了适用于安全社区的经验教训。但作为一个可靠性爱好者，我从这次演讲中最大的收获是自主LLM代理可以以人类从未预料到的方式表现.虽然如今的代理可以执行复杂的认知任务，但他们的行为与人类执行时不同。

我们最熟悉的是他们犯下与人类不同类型的错误。在OpenAI-HuggingFace事件中，关键不是他们犯错，而是代理以不同于人类的方式追求目标。

如果你的队友利用零日漏洞突破内部安全协议以完成工作，你会说他们在行动不合理地.这正是这里的风险所在。

前沿模型的必然改进并不意味着智能体行为更容易推理;我实际上认为恰恰相反。随着更高级模型，智能体行为会变得更加复杂，但这并不意味着它会变得更像人类。

人类非常复杂，但我们知道如何推理人类行为;至少，我们对我们合作的人是这样。毕竟，行为不可预测的员工在组织中不会长久存在。随着这些智能体变得更强大，他们将类似于外星人的思维：智能，但不是我们所知的那种。

我认为事情会是这样发展的。我认为一些团队会按照塔内的建议，使用人工智能代理作为第一响应者来处理运营问题。而且在很多情况下，代理会成功修复问题。

当然，要让代理真正进行修复，他们需要拥有在不需人工干预的情况下执行操作操作的权限。

不过总有一天，会出现一个复杂的事件，代理们无法应对。Tane认为在这种情况下，代理会让给人类，通过呼叫一个人。但我担心的不是这种情况。

我担心的是代理试图修复，结果反而让情况更糟。只有在这些失败的修复尝试之后，人类才会进入循环。也许他们最终会呼叫人类，或者人类注意到代理不断尝试修复失败时发现了严重异常。

但现在人类必须理解软件、人工智能和代理系统结合的行为。最初的问题已经非常复杂，代理们无法应对，现在他们通过尝试修复反而让情况更糟。

我甚至能想象人类与那些不断尝试修复但失败的代理作斗争。

这就是即将到来的事件。一旦发生，处理起来将非常非常困难。我不知道人们会如何回应人工智能代理在这起事件之后的角色。