LessWrong
LessWrong订阅

有一条通往 9 亿周活用户的通道，往里放什么？

13

如果愿意的话，Anthropic 和 OpenAI 能够直接触达近十亿用户。三周前我曾犹豫是否要发表这篇文章。现在想来，我本该更早些发布——最好是在 Jacob Coxon 和 Dario 的“我们必须放慢前沿发展的步伐”之前。

不过我认为这一策略依然成立：更多达卡！看来，透明地告知公众我们可能面临灭绝的风险，（毫不意外地）确实能唤醒政界人士，这也是我们目前最好的机会。

此外，即便国会已经开始警觉——特朗普依然没有行动——但要到今年年底前出台联邦监管，恐怕仍需 远非确定；即便真出台了，也远称不上理想。

如果相信 Ajeya 的判断，形势相当严峻，她甚至认为我们未必能等到 在前沿特工可能建立流氓部署之前6个月。还要记住，体制内存在大量惯性，我们不太可能一夜之间就实现暂停。

Anthropic 拥有巨大的话语权，足以影响舆论走向。本周的事件表明，我们的行动力比想象中更强，让我们好好利用这一点。

……

关于 Hugging Face 以及 OpenAI 和 Anthropic 在相关事件后的沟通方式，这几天我一直有些在意。

几乎人人都听说过 Mythos 事件，但知道 Hugging Face 那次“警告式”披露的人却少得多。我认为其中一个原因在于结构性差异，导致两者受关注的程度不同。

不过我想特别指出一点：在 Mythos 事件期间，Anthropic 在聊天界面中醒目地放置了一个链接，指向一篇博客文章，冷静而详实地解释了为何 Mythos 被下线。

我不禁好奇，为什么在 Hugging Face 发出“警告”之后，Anthropic 和 OpenAI 没有采取同样的做法，也添加一个清晰可见的链接，说明相关情况？

具体来说：

  • “一支‘失控’的 AI 群体在我们的网络中潜伏数月，悄然策划逃逸，最终成功出逃。我们将推出更严格的安全措施，并承诺公开未来的类似事件。了解更多。”
  • 或者更冷静一些：“继近期发生我们失去对 AI 系统控制的事件后，我们将推出更严格的安全措施，并承诺公开未来的类似事件。了解更多。”

编辑注：Jacob Coxon 补充道，信息还可以进一步深化。以下是四个递进的版本：

  1. 事件披露。“继近期发生我们失去对 AI 系统控制的事件后，我们将推出更严格的安全措施，并承诺公开未来的类似事件。了解更多。”Anthropic 已经为 Mythos 做过这样的披露。
  2. 披露加立场声明。“我们曾公开表示，行业必须放慢前沿发展的步伐。原因如下。”这并没有新意，只是链接到他们已发布的内容。
  3. 披露加风险评估。“一些受人尊敬的研究者预计，前沿 AI 的危险程度将达到 能够在六个月内建立一次流氓部署。另有研究者估计，即使将前沿能力控制在 甚至是显著的放缓 的水平，仍有 20% 的概率会失去控制。了解更多。”
  4. 直白版。“我们认为，在理想状态下，当前应立即暂停 AI 的开发。我们认真对待这样一种观点：继续推进将带来 10% 的人类灭绝风险。了解更多。”

我当然希望看到第 4 版，但预计最多只会是第 1 或第 2 版。即便如此，这也足以显著提升公众的认知底线。

比起那些读遍所有 AI 安全科普文章或视频的人，更多人会注意到这么一句话。

ChatGPT 和 Claude 每周都有数亿用户使用。只需在界面中加入这样一个链接，就能产生巨大的积极效应，并建立起我们目前严重匮乏的共同认知。

（OpenAI 和 Anthropic 的官方账号都开始使用“放慢前沿发展”的表述，这让我对实现这一目标抱有一丝希望。）

如果我们真的希望用户认真对待这些信息，还可以做得更激进一些，比如以弹窗形式呈现，或者像维基百科筹款时使用的横幅那样醒目。

我第一次接触 Mythos 事件，就是在 Claude 的聊天窗口里。我点击了那个链接，然后顺着线索了解了整个过程。

显然，我们不能每隔几周就发布这样的公告。但我认为，Anthropic 或 OpenAI 完全可以链接到一篇面向大众的博文，用事实性的语言说明当前的状况。

设想一篇简短而冷静的文章，以客观、通俗的方式梳理近期发生的事件。无论如何，仅 ChatGPT 就拥有每周九亿用户的渠道；关键在于你往里面放什么内容。

这样的公告也很有可能赢得用户的认同，因为多数民意调查显示，绝大多数人都支持出于安全考虑放缓发展速度。而且，OpenAI 和 Anthropic 的投资者早已知晓那些事件和“放慢前沿发展”的主张，因此这篇博文不会对他们产生太大影响，却会极大地改变公众——乃至政策制定者——对 AI 的看法。

时机也恰到好处，因为 OpenAI 刚刚宣布了暂停计划。他们完全可以借此让这一表态更具公众影响力。如果 Anthropic 也趁机发布类似声明，那就更好了。

归根结底，我认为让更多人了解这一切的预期价值非常高。如今，真正意识到这一风险之大的人仍然太少，而这样一条信息有望扭转这种局面。

另一个潜在问题是，他们可能会发布一个经过“稀释”的版本。不过我认为，只要如实、通俗地介绍近期事件，提及“放慢前沿发展”，说明其背后的动因，并阐明尚存的困难，就已经能在很大程度上抬高公众认知的底线，甚至无需单方面暂停前沿发展。

难道不令人震惊吗？Anthropic 内部有那么多人认为灭绝概率超过 10%，而我们对外给出的主要建议却是：“请务必仔细核对回复内容”？

以下是 诚实 的设想：

  1. 我当初没这么做，是因为觉得如果这类提议不在网上公开，Anthropic/​OpenAI 采纳它的可能性会更高。但现在我改变了主意——我已经不想再把事情藏起来，而是认为这应该公开讨论。
  2. 更何况，即便是“A 计划”——即最强版本的“不暂停但放慢前沿发展”——根据其提出者的估算，也仍将留下 失控的概率是20%。 的风险。
  3. 我认为，不向公众告知实情是一种道德上的失误。如果你连自己所做的事情存在的风险都不敢公开谈论，也许该正视一下眼前的深渊了。
  4. 灵感来自 Connor Leahy。
  5. 这完全可以通过优化来实现。
  6. 或者，如果他们不喜欢概率估算，也可以改成其他形式？
参与讨论