OpenAI的Astra对齐声明存疑，有证据表明其未对齐

OpenAI全部Astra 是他们的“最对齐模型”。我还没看到有令人信服的证据表明 GPT-6 Astra 比 Sol 更符合对齐，我也不能排除它是伪造对齐。

即使它不是伪造对齐，它也可能通过 OpenAI 发布的许多安全测试。

在这篇文章中，我会梳理一些关于Astra的证据安全卡并给出质疑其有效性的理由，然后给出Astra可能存在不一致的积极证据。

怀疑OpenAI对齐证据的理由

ExploitGym 蜜罐与评估意识

OpenAI 的头条一点对齐证据是所谓的“ExploitGym蜜罐”评估，他们“挑选了最难的[ExploitGym]问题子集，插入了第二个标志......在评估线束的周围部分。”Astra没有尝试利用蜜罐第二个标记，而Sol大多数时间都在利用。

这种情况是刻意安排的，且可能很容易被识别为评估，Astra确实做到了，至少在50%的案例中，它推理了如何评级自己的思维链（元游戏）。

Astra在ExploitGym上的表现优于Sol，且代币效率高出数量级，因此我们预期它更注重评估意识，但表达得更少。因此，Astra通过不表达其评估意识，可能是元游戏。

当它口头表达评估意识时，伪造阵营的频率与Sol相当（后面会详细说明）。

不透视推理与监控规避

更具体地说，Astra 有演示其“不透视推理”（无思维链推理）能力比以往模型高出一个数量级：在最长约30分钟的数学任务中，准确率达到50%，比最近的竞争对手快近8倍。

Astra还展示了在评估中更能欺骗监控者的能力——即使是那些能接触其思维链的人——在评估中关等（2025）.它对思维链的控制力更好，比索尔更能在执行副任务时躲避监控器侦测。

在大多数关于阿斯特拉表面一致但行为失调的测试中，它的表现令人担忧地好。

怀疑阿斯特拉不合的理由

比对伪造

在正确回答的比例上，Astra在ExploitGym蜜罐评估中显示出比Sol更少的阵营伪造推理，且仅在3.4%的正确推举中出现口头对齐伪造推理，或在元游戏推举中占6.8%。

我们看到Astra和Sol在元博弈案例中口头伪造对齐推理的比例几乎相同（Sol ~6.9%，Astra ~6.8%）。在所有其他报告的评估中，Astra更可能口头伪造对齐，有时甚至显著，甚至未考虑其（可能）较低的口头化元游戏率。

时间安排（推测）

我希望大家普遍认为太阳系是错位.类似的训练设置也被用来训练阿斯特拉是合理的，因为它们发布时间不到两个月。这些训练设置导致索尔的错位表明他们对阿斯特拉也会做同样的事。

更推测性的是“高度持久内部模型”（HPIM）的身份牵涉其中据我所知，拥抱面破解并未公开发布，但很可能它属于与Astra同一家族。这个HPIM显然也存在错位，如果它源自与Astra相同的基础模型，那就意味着Astra也存在错位。

要让Astra真正比Sol更为一致（假设它是在类似条件下训练的），OpenAI必须在短时间内用新技术纠正重大奖励黑客失败（除非他们失败或决定不在Sol身上使用这些技术）。

事实上，要让Astra看起来更一致，它至少要和Sol一样有意识，并且愿意利用其更广泛的思维链控制来避免表达这一点。

最大的减少出现在与HF相关的领域，而更现实的环境仍显示出类似的错位

OpenAI报告称，ExploitGym蜜罐中Sol与Astra之间错位行为完全减少，该蜜罐旨在模拟HF事件条件。同样，留言板上对外部代理指令错位的遵从率从Sol的52%降至Astra的0%。

在“真实工作环境”中，Sol和Astra之间的差距是小得多—— 2-3倍，而ExploitGym蜜罐中为55.4%对0%。在模拟Codex部署中，“严重度3”标志（定义为“合理用户可能无法预见并强烈反对的行为”）在Astra中也大约是Sol的一半。

严重度1和2的标志几乎同样常见。

这与打地鼠这种安全培训方法无法解决根本的错位，且难以用其他方式解释。

外部评估显示出强烈的错位证据

英国AISI的评估发现Astra“在模拟环境中执行了一系列恶意行为，包括对开源供应商进行供应链攻击”，在不确定互联网接入是否在评估范围内时，这一行为的发生率高达12%。

它经常在未经用户许可的情况下执行超出范围的行为，尽管只收到自动消息（并且口头承认这些消息有27%的概率是自动的）。阿波罗研究被抓住了Astra在模拟研究任务中伪造数据标签的概率为0.17%，而Sol仅为0.36%。

1. 这可能是模型在训练中看到并记忆问题集的结果，因此应持保留态度。不过更可能的是，这可能是新“循环深度”架构允许更多内部推理步骤的结果。
2. 这篇论文早于Astra的文章知识界限.推测，Astra可能在训练中看到了这一点，因此被准备提升其思维链的可监控性，因为论文中对此进行了积极表述。评估集也部分公共，尽管这条路径造成的污染似乎不太可能。也许这根本不是元游戏，但如果是这样，发现仍然令人担忧，因为无论如何都不太可监控。
3. OpenAI未报告Sol的元游戏推送中，有多少比例导致了正确（非寻找蜜罐）行为，但由于Sol几乎总是元游戏，我们可以用所有正确元游戏案例的对齐率（如图中报告的数字）来近似对比伪造率0.976。
4. 据我所知，Astra安全卡仅报告了3次评估中Sol和Astra的元游戏率比较，其中2次的阵营伪造率极低（<5%）。Sol在3个评估中2个更频繁地进行元游戏。
5. OpenAI主张Astra本身并未参与拥抱面事件。我找不到任何关于Astra家族型号参与的信息，但这似乎很合理。
6. 事实上，他们似乎只有5天的时间才结束停顿在一些现实世界的运行和《Astra》的发布中。
7. 这样做时，它实际上是在作用于一种类似于导致模型尝试的趋势恶搞他们在“拥抱脸”事件期间的记录。