AI 末日论的论证并不令人信服
作者批评 Yudkowsky 和 Soares 新书《If Anyone Builds It, Everyone Dies》中"超智能 AI 会迅速获得控制物理世界的力量并消灭人类"的核心论断。 作者认为最薄弱的一环并非 AI 对齐,而是 AI 能否在数周内"破解 DNA、制造自复制工厂"这类假设:复杂系统(生物、军事、选举、文化)即使拥有超级智能也难以完全预测和控制,瓶颈往往在真实世界实验而非算力。 他用曼哈顿计划、Bletchley Park、Trump 的权力结构说明"智力"不等于"权力",且人类可以通过运行第二个 AI 模型来对冲单个模型失控。 结论:超智能 AI 不太可能获得"神一般"的预测与支配能力,dooom 场景缺乏说服力。 


