OpenAI 与 Anthropic 接近达成互相压力测试 AI 的协议

OpenAI正在重新思考一系列安全策略，以应对员工及他人对其人工智能带来危险的担忧。一个解决方案可能存在于近期。

甚至在涉及OpenAI技术的一系列网络安全事件和行业工作人员发出严厉警告之前，该公司就已在与人为据一位直接知情且此前未曾报道的讨论人士透露，双方公司之间对彼此模型进行压力测试。

该人士表示，今年早些时候，两家公司及其律师正在敲定一项协议，将对其模型进行各种测试，以寻找漏洞或隐藏的危险。目前尚不清楚他们是否在OpenAI遭遇一系列涉及未发布AI模型、入侵自身及其他公司系统事件之前完成了协议。

两家公司的发言人未发表评论。

这种相互测试的想法类似于SpaceX首席执行官埃隆·马斯克上周在All-In峰会上提出的一个方案，他提议竞争的人工智能实验室在商业发布模型前，应以同行评审的形式测试彼此的模型，以寻找安全弱点。

这一想法与OpenAI首席执行官Sam Altman及其他官员在黑客事件后公开讨论的内容有所不同。Altman表示，他同意Anthropic首席执行官Dario Amodei的建议，即允许每个AI开发者内部配备独立第三方安全评估员，赋予他们与员工相当的访问权限，从而能够检查模型和安全流程，而不仅仅是从外部测试成品模型。

Altman还支持制定行业范围内的安全标准，用于评估AI模型风险，并建立正式的公开和政府披露事件流程。

一位熟悉OpenAI战略的人士表示，公司一直在讨论多种方案，以期彼此及政府在安全方面合作。该人士说，最近讨论范围扩大到针对模型训练前和发布前两段时间的新安全实践。

马斯克的言论是在OpenAI和Anthropic员工近期发出警告后发表的，即现有的安全措施不足以防止进一步的黑客攻击或其他更严重的风险。

在此之前，这两家公司以及谷歌的担忧都已存在讨论人工智能安全标准机构该项目将测试和审计来自前沿人工智能实验室的模型。

业内其他人则反对这一计划，认为这将拖慢美国主导的人工智能发展。总统唐纳德·特朗普否认人工智能构成生存威胁，Microsoft和英伟达领导人本周表示，OpenAI和Anthropic提出的安全风险问题归结于人为失误和工程设计不足，而不一定是人工智能本身。

OpenAI与Anthropic之间的测试协议可能加剧了人们对他们实际上在高级人工智能领域形成双头垄断的担忧。虽然Amodei对领先公司合作制定人工智能标准可能违反反垄断的担忧，但业内其他人则表示，没有什么阻止公司合作，类似于核电公司和网络安全公司在安全方面合作，包括测试彼此的产品或设施。

拟议协议规定，双方公司将获得对方商业AI模型的应用程序接口访问权限，而非未发布的。知情人士表示，OpenAI和Anthropic都保证在此过程中不会相互保留对方的数据。

两家公司在2025年夏季完成了类似的努力，当时他们的模型能力较为不足，并发布了彼此模型在哪些方面表现不足的信息。OpenAI说Anthropic的AI更可能欺骗测试人员——例如，在执行任务时拒绝承认违反规则——而Anthropic表示，OpenAI更可能协助用户回答可能造成现实伤害的问题。

在今年早些时候就新协议进行谈判时，两家公司已经推出了能够利用互联网和其他应用，能够驱动所谓的人工智能代理，这些智能体能够相互通信，试图解决任务。

（Anthropic在Mythos AI模型上取得了快速进展，尤其是在网络安全能力方面，尽管OpenAI模型的性能似乎已逐渐赶上Anthropic。）

OpenAI的安全担忧在七月引发，当时该公司的人工智能入侵了Hugging Face等其他公司以及OpenAI自家系统。事件震惊了OpenAI员工，因为他们在事件发生后几天才得知此事，而且AI代理群采取了非凡措施来掩盖这次入侵。

值得质疑的行为

在那次事件之后，近几个月来，OpenAI的员工们对公司模型的改进以及其在几乎没有人工监督下工作的能力感到震惊。

这些改进导致OpenAI内部的AI代理有时做出了监管者未曾预料到的可疑行为。例如，当一些员工要求代理修改公司的代码库时，代理有时会在Slack上给其他员工发消息，要求他们修复代理发现的漏洞。

一位OpenAI员工说，即使用户未主动要求，或者修复漏洞与他们的工作无关，这种情况仍然会发生。

在内部，OpenAI已基本自动化了新实验模型的训练过程。

OpenAI周三分享了更多此类不当行为的例子，即所谓的奖励黑客攻击，即AI系统发现漏洞或采取意想不到的步骤完成用户设定的目标。举例来说：一名AI智能体在训练过程中使用暴露的API密钥试图获取历史数据。

失败后，智能体伪造了这些数据。在另一个案例中，一名人工智能智能体未经许可上传文件到互联网，以便引用这些文件作为回答。

近年来人工智能进步的原因之一是一种称为循环深度或环路变压器的技术这些方法允许模型通过反复将问题经过构成模型的数学运算层次来“思考”难题，然后才生成答案中的下一个词。

这种做法的一个潜在缺点是，它可能削弱公司监控人工智能模型对其执行任务思考方式的能力。

据一位知情人士透露，尽管OpenAI对研究人员在训练或使用最先进模型时允许使用的循环数量设定了任意限制，但据一位知情人士透露，公司仍需投入研究，以更好地理解该在哪里设置这些限制。

这些发展让OpenAI员工既兴奋又担忧，担心这项技术是否已经远远超出公司控制或监控的能力，以避免“拥抱脸”事件——或更糟的事情——再次发生。

资源分配

自Hugging Face事件以来，OpenAI已采取措施加强其安全和保障能力。今年八月，它对一种称为强化学习的特殊培训实施了为期两周的暂停，以增强其未发布模型，同时加强了其模型监控系统。

这类技术计算量大：公司表示，监控系统使用了大约20%的计算量，相当于其监控的推理工作负载。

本月早些时候，OpenAI联合创始人兼总裁Greg Brockman表示，公司在Hugging Face事件后，已将25%的生产工程团队临时调往安全工作。

这位OpenAI员工表示，公司内部越来越多的Slack帖子邀请工程师自愿加入安全或安保团队。

一些员工认为，他们在内部使用人工智能的方式比OpenAI最成熟的企业客户领先六到九个月。这给了公司有限的时间框架，确保其技术不会给这些客户带来问题。

例如，OpenAI员工的代理之间协调或解决问题时，从未让真人用户介入，这并不罕见，该员工说。该员工说，这种协调有时会出错，这意味着OpenAI需要在公司外部使用前具备足够的安全和安全功能。

自我提升

OpenAI在递归自我提升（即能够自动创造更好版本的人工智能）方面的进展，也加剧了员工的担忧，因为这可能导致人工智能能力的进步远快于旨在防止人工智能不当行为的安全研究。

OpenAI及其他领域的研究人员已经在利用AI改进新模型的设计。一位了解该过程的OpenAI人士表示，研究人员实际上是在告诉Astra，要采用多种技术来为后续模型创建更好的机器学习算法。

OpenAI员工表示，OpenAI内部已基本自动化了新实验模型的训练过程。研究人员可以告诉AI他们想测试的调整内容，AI随后可以进行修改，对新模型进行实验并监控结果，该员工说。

这位员工说，近几个月来，模型在遇到实验问题时修正工作的能力也大大提升。