Anthropic聘请埃森哲进行人工智能安全测试

Anthropic 指定埃森哲为其模型安全独立评估机构，预计每家公司都将投资至少10亿美元，建立新的防护措施以应对人工智能带来的风险。

这家近10亿美元的人工智能初创公司周五表示，此次合作将由英国人工智能公司Faculty领导被埃森哲收购该项目于一月以10亿美元成交，由现任咨询集团首席技术官的Marc Warner领导。

“人工智能应当是设计上的安全，而非偶然安全。这种信念指导了我们与全球政府、国防和医疗系统的合作，”沃纳说，她曾是为英国政府提供建议的人工智能委员会成员。

埃森哲股价盘后上涨约7%。

协议如下人为首席执行官达里奥·阿莫代上周末发表的文章呼吁协调放缓人工智能研究，以更好地管理风险，并让实验室嵌入第三方评估员来测试他们的模型。

OpenAI首席执行官萨姆·奥特曼和xAI首席执行官埃隆·马斯克支持他的建议。

埃森哲团队将评估Anthropic的Claude模型，并作为所谓的红队，故意试图突破其安全防护措施。咨询公司还将评估Anthropic现有的安全程序和对齐研究，确保AI的行为符合人类意图。

“埃森哲帮助企业和政府在多个行业部署人工智能，”该公司在博客中表示。“他们对企业如何实际使用人工智能的理解为其安全方法提供了参考，并将带入评估我们的模型时。”

Anthropic将资助埃森哲在实验室的工作。每家公司计划在五年合作期间各自投资至少10亿美元，以提升其现场能力。

Anodei安全提案的批评者质疑测试团队是否足够独立于领先的人工智能实验室。

Anthropic表示，从长远来看，独立评估者的资金应来自“合并或政府来源”，但鉴于“这项工作的紧迫性”，决定为埃森哲的支持买单。

该人工智能实验室正在准备首次公开募股，估值可能为超过20亿美元，并补充说，他们正在与非营利评估机构如METR沟通，希望“利用他们自己的资金进行嵌入式评估的试点要素”。

公司表示：“我们将继续训练并发布前沿模型，我们希望独立评估者能与我们一起工作。”“我们现在分享这些早期成果，让人们和其他AI开发者能够看到我们的流程。”

埃森哲的合作并非独家，Anthropic表示希望其他AI开发者也选择与这家咨询公司合作。

然而，包括Meta和亚马逊在内的其他科技公司尚未完全支持Amodei的提案，而是认为企业将自我监管。

埃森哲拥有不断增长的信任与安全业务，曾为包括Facebook和YouTube在内的社交媒体公司提供第三方内容审核服务。