区分理性论证与道德论证至关重要。

如果有人说“一种超级智能会把我们都杀光”，那是在做一种道德判断，而非理性判断。这与“如果你不在超市里安装塑料隔板，老人就会死”或“开燃油车就是在毁灭地球”这类说法属于同一类型。

所有这些陈述都有其理性基础，但在实际生活中，理性依据往往居于次要地位。

提出这类主张的人无需提供确凿的理性证据，而即便有人拿出相反的理性论据，也难以撼动其立场。

因此，当你呼吁给出理性解释却无人回应时，不必感到意外。

@robinhanson 对于那些模糊却令人恐惧的担忧为何层出不穷，给出了一个互补性的解释：随着人类日益精进、信息获取渠道更加丰富、社会结构愈发复杂，人们更容易构想出各种末日场景。

他最近在谈到人工智能时写道：

“尽管迄今为止真正发生的具体危害寥寥无几，但那些就此话题发声的人却很容易想象出诸多值得担忧之事。他们的忧虑往往相当抽象，缺乏足够具体的场景来为其提供支撑。”

我认为，多种因素相互叠加，正将我们引向一种应当被称作“道德—精神轴心”的恐惧体系。

尽管我们自以为比两三代、五六代乃至十几代以前的人更聪明、更理性……但在未来史家眼中，我们恐怕未必显得特别善于清晰地思考。

凯西·穆拉托里（@cmuratori）
我不太认同这种解释。能否请其中某家实验室的人公开把思路讲清楚，让我明白究竟在主张什么？

假如贵公司“抢先一步”又如何？您打算具体指示这款具备灭绝人类能力的超前型人工通用智能去做些什么，从而确保竞争对手不会很快也达到同样的境界，进而避免出现您所声称必须阻止的那种足以灭绝人类的AGI？

换言之，如果支持Anthropic开发AGI的理由是，让OpenAI去搞太危险，那么Anthropic又将采取哪些具体措施，利用自己的AGI来阻止OpenAI随后不久也实现AGI呢？