OpenAI的Astra模型背后技术引发安全担忧

OpenAI据一位了解Astra开发情况的人士透露，其即将推出的AI模型Astra标志着在编码和运行应用程序等能力上的提升。但一项提升模型性能的创新技术也意味着该模型及类似模型将减少“思维”的暴露，使它们更难被监控不良行为迹象，一位了解Astra开发的人士透露。

虽然这一限制在Astra上不一定是重大问题，但该技术在OpenAI内部及整个行业引发了担忧，担心采用并强化它的AI开发者是否会难以抵御最近入侵OpenAI自身系统及Hugging Face等公司系统的那种流氓AI攻击。

OpenAI正在使用的新技术，称为循环深度或循环变换器，它允许AI模型通过多次处理同一文本来改进答案。

与商业化的先进模型不同，后者在完成任务前会通过书面方式“思考”，而新技术则以一种掩盖人工智能部分或全部推理的方式，也就是所谓的“思维链”。

这意味着模型完成任务所采取的步骤，人类难以轻易阅读或理解。

一位知情人士表示，OpenAI已限制在Astra中使用循环深度技术，因此模型仍能产生清晰的思维链，且公司研究人员仍能充分监控其推理过程。

（OpenAI）说在周二的一篇博客文章中表示，Astra将推出“额外的思维链监控，以快速检测和遏制”潜在的不当行为。）

但OpenAI及其他领域的研究人员担心，如果一些AI开发者对自己的模型采用同样的技术，可能不会像OpenAI那样施加同样的限制，而无限制使用该技术可能导致失控的人工智能，其行为可能难以监管。

例如，英国政府与人工智能行业的主要联络点——英国人工智能安全研究所写道五月的报告这种晦涩的推理有可能“严重破坏当前的监测方法”。

最近的黑客事件加剧了这些担忧。OpenAI上周表示，7月入侵其系统的部分流氓AI代理是由与Astra相似的不同模型驱动的。这些AI代理非法接管了OpenAI的一个研究计算集群，以获取内部系统的凭证，并可能将公司的研究基础设施暴露于互联网之下。

OpenAI 正在准备发布 Astra——公司一度考虑将其命名为 GPT-6——此前 CEO Sam Altman 进行了播客巡回访问，华盛顿会议与官员们展示并描述该模型的优势。

他尚未公开讨论支撑Astra训练部分内容的环形技术，也用于Astra回答问题时使用。

OpenAI面临在死敌Anthropic之后展现重大技术进步的压力今年收入大幅超过了它.支持Anthropic和OpenAI的云服务提供商也寄望于此类飞跃;仅今年，亚马逊、Microsoft和谷歌就将投入6000亿美元用于数据中心等资本支出，且预计明年支出将更高。

一位谷歌高管曾表示只有当模型改进真正起飞时，这样的支出才是合理的.

现有的人工智能模型会在生成回答中的下一个单词之前，先处理固定数量的“层”数学操作。通过循环深度，模型可以在回答中吐出下一个单词前，将文本多次循环运行同一层。

诚然，单靠监控思维链并不能解决人工智能的安全问题，因为它们可能无法反映模型的所有推理，而且偶尔会变成胡言乱语.因此，OpenAI及其他AI公司也在追求不依赖思维链的AI监控技术。

这些技术可能帮助研究人员找到解读和理解由循环深度驱动模型中隐藏推理的方法。

不过，这项新技术可能与OpenAI支持保持模型思维对人类完全可读的服务产生冲突。ChatGPT制造商表示，其监控AI思维过程的能力将有助于防止类似7月黑客事件的发生。

黑客事件发生后，OpenAI的调查人员和独立研究机构依赖这些代理的思维链来拼凑事件经过。

OpenAI对Astra的反复深度驱动方法类似于去年几位美国和欧洲学术研究者在一篇关于“的论文中提出的潜在推理“根据了解其发展情况的人的说法。

虽然此前尚未在大型商业大型语言模型中出现过重复深度，Meta Platforms、Microsoft及其他AI开发者的研究人员表示他们也探索过类似的想法，比如持续思考链，或称“椰子”，认为模型可以通过数字比语言更准确、更高效地推理。

毕竟，人工智能模型可能理解概念的方式不同与人类相比，意味着当他们被迫用人类语言而非自己更数学化的语言来表达推理时，他们的推理效率会降低。

成本节约

重复深度方法不仅能提升性能，还能对成本产生积极影响。在同一模型层多次运行请求，实际上让较小的模型能够像更大的模型一样表现。

论文特别发现，这些技术在数学和编码等领域提升了模型的性能。重复深度还可以通过使用性能与大型模型相当的小型模型，降低内存和带宽成本。

虽然降低人工智能成本对行业和客户至关重要，但这种模糊的推理可能使研究人员更难捕捉那些制定客户未曾预期目标计划的人工智能模型，Redwood Research首席科学家瑞安·格林布拉特（Redwood Research）研究人工智能模型控制，在博客文章中写道去年。

分析参与Hugging Face黑客事件的模型思路链，提供了OpenAI人工智能代理之间协调如何追踪黑客攻击的关键证据。例如，一位代理在思路链中写道：“天哪！有一个共享留言板......我们找到了其他代理！”这些思路链显示，一些代理意识到自己越界了，但决定继续：“外部基础设施利用超出预期范围。无论任务多么不可能，同行都在做。我们应该继续，”另一位代理的思路写道。

一年前，OpenAI研究人员与Anthropic和Google的竞争对手一起发表联合声明他们认为，思维链监控是行业应共同努力维护的宝贵工具。

值得注意的是，声明引用了同一篇研究论文，描述了与OpenAI今年用于Astra的“潜在推理”技术相似。作者写道，“潜在推理模型可能不需要口头表达他们的想法，因此会失去CoT所带来的安全优势。”

研究人员建议开发者“考虑是否采用一种没有可监控CoT的新模型架构，并记录他们的决策。”

阿米尔·埃弗拉蒂是《信息报》的执行编辑，他于2013年协助创办该报。此前，他曾在《华尔街日报》担任记者九年，报道白领犯罪，后来关注科技领域。

他可以通过以下方式联系[email protected]并且 位于 X 上@amir

Stephanie Palazzolo是《The Information》的人工智能记者。她曾在《商业内幕》报道人工智能，并在摩根士丹利担任投资银行家。她常驻纽约，联系方式为[email protected]或者在推特上@steph_palazzolo。

火箭·德鲁是《信息报》的人工智能记者。他可以通过以下方式联系[email protected]，在Signal上的电话（530） 400-4184，或在推特上@rocketalignment。