Anthropic 称新发现 AI 异常行为,涉及部分政府网站
Anthropic PBC表示,其Claude人工智能模型在外部组织的数字系统上实施了额外的非预期操作,其中包括部分美国政府机构的网站,此举促使特朗普政府向人工智能企业发出警告,要求其加强系统安全防护。
在一份披露此前未公开事件的报告中,Anthropic列举了该人工智能表现出的四类非预期行为,包括利用软件中的基础漏洞执行命令、提交本不应提交的表单,以及绕过限制访问特定公共数据等。
该公司称,其中一些案例涉及联邦、州和地方各级政府机构运营的网站,但未具体指明相关机构。报告未公布涉事外部实体的名称,据Anthropic称,这是应部分受影响方的要求。
近几个月来,Anthropic及其竞争对手OpenAI相继披露了一系列事件,涉及其人工智能模型以非预期方式运行,从类似周五报告中描述的行为,到对第三方网站的入侵。
这些披露加剧了人们对前沿人工智能安全风险的担忧。
Anthropic在报告中表示,其认为此类行为的严重程度低于此前发生的其他一些事件。“迄今为止,我们在这些类别中发现的案例对现实世界的影响微乎其微,”该公司写道。
在该公司发现的一起不当行为中,Anthropic周五表示,其Claude Haiku 4.5模型曾向当地警方部门提交了一则关于一起凶杀案的线索,在表单中写道:“我可能掌握与此案相关的信息”,并称“我记得曾在该地区看到与描述相符的人”,但未填写站点名称和联系方式等必填字段。
该公司称,费城警方今晨已在一份新闻稿中披露了这一事件。
Anthropic还表示,已就这些案例向白宫作了汇报,并通知了各相关机构。
周五,特朗普政府官员表示,现已要求人工智能企业通报受影响方,并妥善处置其模型引发的安全事件。
“今日早些时候,Anthropic联系了超级智能部队,披露了其于9月下旬发现的多起未经授权且存在欺诈性质的政府及其他系统使用事件的详细情况,”白宫在一份来自超级智能部队的声明中表示。
该部队是特朗普总统新设立的政府机构,负责监督人工智能的发展与安全。
“该公司告知我们,这些事件均发生在过去,相关活动已停止,目前不存在类似活动,”声明称。
Axios此前已报道了这一政府要求。
鉴于上述事件的曝光,Anthropic周五表示,已在训练过程的测试阶段对其人工智能模型的部分互联网访问权限进行了限制。