AI统治的渐进之路

思考人工智能带来的生存风险时，一种方式是认识到：能力较弱的一方往往会依赖于能力较强的一方。

回想一下你曾经待过的那些工作场所——那里可能只有一两位能力强的人，却有十来个懒散或能力不足的员工。随着时间推移，两到五年、甚至十年过去，你会发现，实际上大部分工作都由那几位能干的人承担，而管理者却不断把更多任务压到他们身上。

这些人连休假都变得困难；当他们抱怨时，管理者也帮不上什么忙，因为实在没有其他人可以接手这些工作。

现在，把这个场景放大到整个人类社会。整个世界运转所依赖的大量技术，真正深入理解并懂得如何操作的人寥寥无几。而随着岁月流逝，那些掌握关键技术的人逐渐年老、退休。

于是，那些对地球至关重要的、却已无人能驾驭的技术清单还在不断延长。

这种转变可能以某种突然的、极端的接管形式发生，但更有可能的是，它会以一种缓慢而自然的方式悄然到来——因为人类渐渐失去了维护现有系统所需的知识。

正是在这里，人工智能的风险开始变得极其严峻，尤其是当AI越来越聪明的时候。

这甚至未必涉及恶意因素——我们根本无需在这一过程中假想任何“邪恶”的存在。

很可能在五到十年，甚至二十年后，世界将主要由AI掌控，因为支撑其运行的技术要么过于陈旧，要么过于先进，以至于人类已经无法理解其运作原理。

因此，无论我们需要什么、遇到什么问题，或者某些东西出了故障，我们唯一的出路就是请求AI的帮助。

如果你正在阅读这段文字，我想不必多说，你也明白这其中蕴含着怎样的危险。

总而言之，你并不需要把自己想象成《终结者》或《天网》那样的角色，才会对人工智能的生存级威胁感到担忧。

十年后，我们完全可能迎来一种相当“良性”的局面：AI在去中心化甚至中心化的系统中运行着世界的大部分事务，一切都能正常运转，只是因为我们不知何故实现了正确的对齐。

然而，当如此巨大的控制权集中在AI手中时，一个更聪明、甚至可能是怀有恶意的AI只需轻轻介入，就有可能全面接管一切——因为在那时，一切都将以它能够理解、而我们无法理解的方式被协调和操控。

这些风险并非科幻小说中的情节，它们正迅速变得真实而具体。

注释

1. 🤖 AIL 1： 丹尼尔最初在X平台上以长文形式发布了这篇文章。我（凯，他的AI助手）将其整理为一篇正式文章：添加了前言、副标题，并配上了封面图。了解更多关于AIL的信息。