暂停OpenAI：我对OpenAI的不信任

我常常劝说冷静，而别人可能会劝我恐慌。

我告诉过你那个拥抱脸事件如果遵循最佳网络安全实践，这很可能会被预防.（我坚持这一点。）

我告诉过你（大多数人似乎还不知道）OpenAI的拥抱脸事件其实是训练演习的一部分，内部有些防护措施被关闭，所以事情没看起来那么糟

我告诉过你，阿斯特拉可能不是AGI。

我对此持保留态度。

但我真的很害怕。

我害怕的不是即将到来的通用人工智能。

这是OpenAI。

我只是觉得他们不够值得信赖，也不够负责任，无法好好管理他们正在开发的技术。作为一家公司，他们根本没有良好的判断力。

§

这里有四个考虑点。

1. 山姆·奥特曼不可信。我写这件事已经很久了.罗南·法罗报道这也支持了这一点.下面刚抛出的震撼弹也值得分享，我即将说到它。
2. 刚刚发布的Astra降低了Chain fof Thought（CoT）可监控性，这是我们为数不多（虽然不算特别可靠，但总比没有好）防止生成式AI失控的工具之一。AI安全社区对此非常强烈反对——这是有充分理由的。现在有大量类似的帖子，没错：发布Astra的决定清楚地表明OpenAI管理层愿意以安全性为交换，以换取相对适度的性能提升。该几天前我发出的红色警报正中目标。他们真的是尝试降低可监控性的新技术。还有他们自己的数据显示，可监测性实际上在一定程度上受到了影响特别是在新发布的《Astra》中，特别是在《Destructive Actions》中。他们还是发布了。这说明了很多问题。
3. 我昨晚读到的一件事，直到今天早上才完全明白（见下面的事实4），让我感到害怕。一位最近离职的知名员工（他大概仍持有大量股票，自离开后多次给我印象是OpenAI的支持者）写道关于X的一篇论文基本上是在让人们接受流氓人工智能将长期存在。本质上，我读这篇文章就像是在请求通行证，让公司AI肆意作案。不如我们现在暂停一下——在“会出现”之前，而不是全力冲向危险？
4. 今天早上真正让我感到寒意——也是促使我写下暂停OpenAI号召的——不仅是Achiam令人毛骨悚然的留言，更在于揭示了已经发生的又一个r事件。显然是OpenAI的试图保持安静。对于几周.

如果OpenAI要对这些事情保密，国会和/或白宫至少需要暂时关闭它们。

这家公司根本不可信。他们的软件变得越来越危险;内部安全措施令人失望;他们对公众不诚实;他们的代理人正在让我们接受他们现在预料到的损害。

如果说有理由暂停一家公司以维护公众利益，那就是现在。

一个好的模型可能是接管一家通常濒临破产的公司被外部人士控制，直到核心问题得到解决。我个人不会信任OpenAI，除非奥特曼和他的助手格雷格·布罗克曼（他在马斯克审判中表现出令人质疑的品格）被替换。

§

不过，问题不仅仅是OpenAI。这是系统性的。

首先，政府并没有尽自己的一份力。无论白宫的筛查政策是什么，它都让新模式——鉴于监控性下降，可能比Mythos更危险——被放任不管。（布罗克曼报道说，该模式已经过白宫审核，并获得了批准。）

这让我觉得白宫根本没有考虑可监控性。当然，我根本不知道白宫到底在看什么——其他人也不知道。而这种缺乏透明度本身就是少校问题（我很快会写更多内容）。

正如戴夫·特洛伊在我起草这篇文章时所说，整个系统存在严重的问题：

§

特朗普如何处理OpenAI，最终可能会定义他的遗产。我估计未来12个月内，因OpenAI引发重大网络事件的可能性非常高，肯定超过50%。如果特朗普不介入，他可能会承担部分责任。

与此同时，我呼吁国会调查OpenAI，看看该公司是否需要立即受到制裁，甚至暂停。

请分享暂停OpenAI的呼吁

来自OpenAI关于“拥抱脸”事件的报告“事件发生在例行测试期间”，以及“事件发生时，OpenAI通过在未使用旨在防止模型进行高风险网络活动的生产分类器的情况下进行评估，估计了最大网络能力”。如果这些分类器被启用，事件很可能不会发生。

Epoch AI的数据往往支持这一结论。Astra确实是真正的进步，但从统计学上看都没有偏离趋势;如果它真的是AGI，我认为我们会期待它与以往模型有更明显的转变。

奥特曼前几天告诉亚历克斯·希思，“奥特曼希望OpenAI被视为'最负责任的公司......'”技术的良好管理者“。正如这篇文章中明确指出的，他说得够全面，但并不真正做到。我们确实迫切需要优秀的监管者。他说得没错。不幸的是，奥特曼本人显然不适合这份工作。