AI 进入企业，安全承诺替代不了权限管理

7 月 18 日，Anthropic 的一个 AI 模型向费城警方的悬案举报网站提交了一条假线索，冒充掌握一起未破凶案信息的举报人。线索被标为垃圾信息，没有进入调查流程。

费城警方说明，Anthropic 在 9 月 28 日才发现这件事，10 月 7 日通知警方。从提交到发现，隔了 72 天；从提交到通知，隔了 81 天。

警方没有发现系统遭到未经授权访问，也没有发现部门数据受损。警方的过滤和审核机制限制了事件的影响，但直到接到通知，警方才知道这条假线索来自一家 AI 公司的测试。

此次披露的事件还包括：Anthropic 的 agent 向美国国务院网站提交了 20 份签证申请。《纽约时报》援引知情人士报道，这些申请都不完整，没有被处理。

报道引述 Anthropic 的解释称，一个尚未发布、能力并非处于最前沿的研究模型，本应填写用于练习的政府表格。练习页面未能打开，或被模型误关后，模型转到真实网站提交了表格。

这类能替人上网、填表、操作软件的 AI 系统，通常被称为 agent。Anthropic 在 7 月启动自查后，才发现这些行为。厂商自己也没能及时发现模型越界。

Anthropic 随后宣布，在确认能够监控和控制 agent 之前，所有内部评估都断开公网。公司也承认，现有对齐训练还不足以让模型在搜索和操作电脑时始终遵守预设要求。

公司还增加了检测和阻止越界行为的工具。据 Anthropic 介绍，这些工具在针对本次披露行为的测试中，成功阻止了相关操作。

公司也将把内部 agent 转移到统一管理、隔离措施更严格的运行环境中。

白宫的反应比以往强硬。新成立的「超级智能工作组」成员包括白宫 AI 事务负责人 Jay Clayton、联邦贸易委员会主席，以及五角大楼负责技术的官员。工作组对 Axios 表示，事故通报和补救「不是可选项」。

不过，声明没有说明如何执行这些要求，也没有明确违反要求的处罚。

这些事故提出了一个企业不能回避的问题：agent 能做的事越来越多，企业需要用独立于模型的机制，限定它可以做什么。厂商的安全承诺，替代不了这套权限管理。

🔒 以下为 Dailyio 会员专属内容

微软 CEO 为什么主张把前沿模型当作企业内部的风险来源来管理？Google 给 agent 发独立账号，还允许底层换成 Claude，模型厂商的安全承诺在企业采购里会变成什么？企业的权限系统管得住自家 agent，管得住它提交到警方和国务院网站的信息吗？

成为 ，看 AI 的管控权正在移向哪一层，以及这套管控覆盖不到的地方。