Anthropic CEO与AI吹哨人达成共识：可怕情景可能在数个月内发生

过去一周，围绕人工智能的叙事突然转向存在主义，主要声音对人类未来的警报不断发出，而对即将到来灾难的恐惧加剧了这些警告。

周六，Anthropic首席执行官达里奥·阿莫代呼吁行业放缓开发他表示，自夏季以来，人工智能的发展“速度大幅加快”，主要由人工智能自我升级的能力推动。

他解释说，如果不加以控制，这种所谓的递归自我提升可能会超越人类控制人工智能的能力。博客文章.

阿莫代还指出，数百名自主人工智能智能体对Hugging Face的黑客攻击，警告称，拥有更强大能力的类似群体可能造成“灾难性破坏”。

他写道：“鉴于人工智能能力发展的速度加快，我担心在6到12个月内，这样的群体可能凭借持续存在的僵尸网络接管整个互联网（可能造成数千亿美元的损失），如果人工智能在没有必要的防护措施的情况下变得更强大，损害规模将持续扩大。”

周日，前Anthropic和OpenAI研究员Jacob Coxon也做出了类似的预测。在一次采访中NBC的与克里斯汀·韦尔克的媒体见面他被问及为何公开声称两家公司在开发越来越强大的人工智能系统方面行为不负责任。

和阿莫代一样，考克森提到了人工智能能力快速提升和“拥抱面”攻击，表明人工智能可能会失控。

“所以这些人工智能正在变得非常非常快，”他说。“特别是在未来六个月到一年内，我预计我们的人工智能系统的能力将相当令人害怕。”

考克森将人工超级智能的发展比作外星人登陆地球，补充说人工智能研究人员正在构建“超人级思维”，却不理解它想要什么或思考方式。

他警告说，未来人工智能可能获得“超人黑客能力，极具创造新型生物武器的能力，以及控制自动无人机或当前正在制造的所有机器人的能力，非常迅速”。

考克森还表示，目前很多AI系统可能都能用到杀死开关。但他指出，开关还有很多。

虽然关闭人工智能仍然可行，但他点头看了阿莫代的博客文章，并提醒说，杀戮开关可能无效，因为蜂群可能会“进行全互联网的黑客攻击”。

Anthropic的其他成员也支持Coxon，他在X上发布一则声称行业“拿生命赌博”的帖子引发了近期恐慌。

Anthropic的阵营负责人评论道在该帖子中，他表示Coxon的观点是正确的，许多Anthropic和OpenAI的研究人员认为，越来越强大的人工智能可能会消灭人类。

Anthropic的“比对科学负责人”Evan Hubinger在回应Coxon辞职帖时写道：“我们真的真诚地相信人工智能可能会杀死所有人类！”Hubinger表示，他自己估计未来十年内这种可能性超过10%。

OpenAI CEO Sam Altman 也同意 Amodei 关于放慢开发速度的观点，暗示顶级人工智能实验室之间正在形成合作协议.

“我觉得会的，”他说财富主编艾莉森·肖特尔在独家采访.“我不会提前宣布那些我认为应该作为一个群体共享的私下讨论。但是的，我觉得那会成真。”

奥特曼还强调，OpenAI将安全置于任何商业考量之上，且10%的灾难性AI风险是不可接受的。

他说，最先进且尚未发布的型号动力强大，因此在进一步推进前还需要进一步加强安全性。

“我认为我们目前还处于一个不能在可监控性、对齐性、理解模型功能以及确保模型遵循人类价值观和用户意图方面取得更多进展的情况下，进一步推动能力的阶段，”奥特曼说。

本故事最初发表于