回形针无法反抗：为何许多终极目标会推动智能在宇宙中广泛而多样地扩散

这篇帖子是从我的Substack中交叉发布的，结构与担保我在这里探讨了形式验证及相关思想如何扩展到更复杂的智能系统。我认为工具性趋同通常以对齐陷阱的形式呈现，可能有一个令人惊讶的好处：在许多有能力追求的终极目标中，它可能推动智能在宇宙中传播，同时保持个体性。

关于未来思考，有一个相当常见的线索超级智能该理论聚焦于从宇宙中无生命物质创造智能的可取性。例如，库兹韦尔在奇点临近写道“宇宙的'愚蠢'物质和机制将被转化为极其崇高的智慧形式”，这正是“宇宙的终极命运”。

另一方面，我们有人工智能对齐关注的是我们必须多么谨慎地指定人工智能的目标，以确保它不会因我们设定的意外后果而破坏宇宙。一个原则是工具融合在其中，各种基本目标可以通过积累资源等子目标很好地实现，因此即使从描述的目标出发，也可能出现不希望的资源积累模式，而这些目标并未涉及积累资源。

以一个流行的思想实验为例回形针最大化器.人工智能系统明确目标是制造尽可能多的回形针。它可能会推断出自己应该接管世界，把人体变成回形针。

我们走向一个大多数人都认为坏消息的终局：宇宙中某块大部分被回形针覆盖的区域，对我们来说似乎毫无道德意义。我想在这篇文章中提出的论点是，能够有效执行这种目标的副作用，应该是宇宙中那种以智慧转变为Kurzweil等人所定义的终极目标。

大多数人想赋予人类智慧/生命特别的权重，这又是一个独立的挑战，但我觉得有趣的是，工具性趋同实际上似乎有助于实现某个流行的目标，讽刺的是，优化与竞争的动态推动了那个最终目标，而不是引入与某种非正式价值体系反对的行为。

那么，让我们来谈谈为什么在宇宙中传播多样的智能似乎是多种基本目标的自然结果，这让我们只需对类人类智慧给予一些特别的尊重（也许通过就像我上次猜测的那种机制).今天在人类设计的计算机系统中发现一些模式会很有帮助。

认识上的谦逊是值得的

假设某个人工智能系统的根本目标大致是在当前时代被指定，而我们对宇宙有许多未知。有效的智能应当承认这种不确定性，并准备随着新信息的到来不断重新评估策略。

可以说，这种能力正是高智能进化的原因。仅凭本能不足以帮助动物应对足够新颖的环境，比如一种新的冰河时代.然而，这种惊喜的规模在数千年甚至更久的时间尺度上反复发生，因此进化逐渐选择能够理解并适应新挑战的机制。

我们自然会发现两种不同的挑战。

• 自然界的挑战：回形针最大化者在我们这样的太阳系中积累了令人羡慕的回形针库存。然而，不久附近的一颗恒星爆发超新星爆炸，摧毁了一切。得分归零！
• 来自竞争代理人的挑战：回形针最大化器专注于用一种经过时间验证的方法制造回形针。一个图钉最大化器来自另一个星系，能高效地将回形针（及其守卫机器人）变成图钉，这种方式与回形针最大化器截然不同。分数归零！

回形针最大化器可能被形式化得不够称职，导致这些风险未被考虑。如果这种无能导致不良结果，可能难以带来安慰。然而，鉴于最大化回形针的非正式目标，我认为有能力的执行必须考虑意外风险。

因此，我们期望从多种不同目标出发的工具性趋同，并在这方面得到有效实施。同样显然，广义上说，灵活的智能是有效应对新发现风险的必要条件。

所以我们来解释本文标题：人工智能的根本目标可能是制造回形针，但回形针对新威胁的响应能力微乎其微。因此，工具趋同表明，为了实现这一目标以及许多其他目标，人工智能也应投入大量资源来制造灵活智能。

结果是，人工智能自然地吸引着在无生命宇宙中传播智能的目标。一个特别针对回形针的智能能否应对应有的挑战，值得怀疑。

到目前为止，我们大多被关于工具趋同导致智能在空间中扩展的流行描述赶上，例如在超级智能.一个问题是，仍有许多该死的回形针本身没有智能。

制定回形针扩张策略的超级大脑可能只占世界的一小部分。或者我们应该预期这样的结果？

将计算置于动作附近所带来的收益

请考虑以下计算机系统设计风格的共同模式，这些风格都与我之前讲述的故事相关在优化计算机系统中考虑空间和距离的重要性.共同点在于，当通信成本足够高时，将计算更接近相关信息是有益的。

• 内存处理为了节省从内存到处理器传输比特的成本，可以在内存本身中加入适度的可编程计算能力。例如，如果我们在内存中反复递增计数器，我们可以让内存本身实现“加一”操作，而不是强制从内存读取到处理器，再强制读取“加一”，然后再从处理器写回到内存。收益是用处理器到内存的单一“请进行增量”通信，替代多次往返的内存-处理器通信。（字面上的“加一”是一个不完整的例子，因为它在内存系统中已经被硬编码过。内存内处理允许更个性化的操作获得同样的优势。）
• 智能网卡：与其让网卡“笨拙”地将网络流量传递到通用处理器，不如在网卡本身加入适度的可编程计算能力。例如，网卡可以高效地发现某些流量无关，从而不必费心将其发送到通用处理器。
• 数据库存储过程：而不是仅仅允许通用处理器通过相对不具表现力的查询语言之后处理器可以对数据进行一般计算，允许在数据库内注册这些通用计算，从而使查询能够直接调用它们。例如，当定制计算分析无关数据行并判定它们无关时，我们可以过滤掉它们，从而节省了将数据行从数据库传输到处理器（处理器通常在相对较远的物理计算机上）传输数据行的成本。

相关地，高频金融交易通常涉及贸易公司支付费用，将计算机安置在靠近交易所或其他重要经济参与者的数据中心。（参见以光速交易关于该领域围绕此类计算选择激烈竞争的精彩概述。）

我认为类似的模式也应体现在人工智能提供智能空间，以实现多种基本目标。为什么？只要对世界正在发生的事情保持适当的谦逊，无论是通过自然现象还是竞争对手（目前已知或未知）的行为，新的挑战几乎可以在任何地方出现，而应对这些挑战所需的行动可能需要在局部且迅速地发生。

人工智能反乌托邦领域的一个优秀例子是奇点临近纳米机器人潜行于太空中，等待信号发动攻击。每个本地社区可能没有足够时间等待中央指令来防御。

光速很可能对通信延迟施加根本限制，无论超级智能取得何种科学突破。

所以，在我们的例子中，不能只有一个电子超级大脑统治着这片回形针。有能力的智能需要在整个赛场上传播。

个性随之而来

许多假设性错位的人工智能情景看起来令人毛骨悚然，因为它们产生了强大的智能，能够集中指挥所有重要决策（其中一个例子是博斯特罗姆描述的单例).我们进化道德的核心是对个体性的尊重，而我们认为在过度微观管理下，个体性会被摧毁。

然而，前面的讨论实际上确立了我们不应期待这样的结果，经过我接下来将详细分析的内容。

我之前曾论证过，如果我们去寻找“个体性”的非正式含义，我们会得到一个出乎意料的好解读高度集成的计算机系统其中，它们的部分合作得非常好，以至于几乎总是将综合系统抽象为朝着单一目标行动是准确的。

例如，我们通常可以在不进行细胞层面建模的情况下理解人类的意图和行为，而个体往往在社会中主张自己，阻止我们认为这些社会是朝着统一目标行动的。

实现良好整合和内部对齐的最大障碍之一是组件间长时间的通信延迟。人工智能在空间中扩展其控制范围必然跨越足够大的距离，使得通信速度极慢，因此对紧急挑战的有效响应只能来自相对多个分散、局部的个体。

也就是说，一旦我们承认在超级智能控制下的所有区域附近拥有强大的智能非常重要，那么随着扩展足够广泛，必然存在许多智能符合个体资格，这又是一个看似可能被忽视的人类价值的巧妙推动。

除了个人主观体验来自良好整合计算的某种观点外，我们还有什么理由期待在这种设定中看到个体性？这个问题似乎与《光速交易》所称的“相对论现象”有关（使用了同样存在的类比）经典分布式系统研究).在某个特定金融市场中，如果能清楚知道某笔交易是否发生，那会很方便。

然而，鉴于交易所与其他参与者之间协调的现实，对于这些看似基本的问题，可能会存在真正的分歧。同样，不同智能在空间中广泛传播，体验不同的真实情况。

看似微小的信息变化可能意味着需要迅速实施截然不同的策略，信息传播到足以恢复协议的时间相对较长。

这些智能在首次进入其空间邻域时发现的多种条件也可能存在差异。因此，知情的分析者会将每个区域关联到可能出现的挑战概率分布。

每个局部智能可以储存全球遇到的知识和能力，但保留最小能力具有效率优势。例如，更便宜的算法可能足以满足常规决策需求。面对两个竞争派系，通过专注于局部条件优化智能的一方应当占优。

因此，我们甚至得出一种预期，在这种情景下保留个体差异，这同样独立于人工智能的最终目标。

有趣的是，尽管基本目标大致相同，这些个体差异仍可能出现。对新威胁的快速响应越为关键，我们应预期在一定空间空间内看到的个体越多。

空间区域内环境差异越多，我们应当发现越多样的个体。一个潜在反对意见是这些个体仍共享相同的潜在目标，但我不确定任何论点不应泛化为仅仅因为我们两个人就否定人类个体性我们DNA中有99.5%以上的基因.我们认为两个同卵双胞胎是截然不同的个体，即使他们在任何合理的价值观调查中都以相同方式填写，他们甚至可以在出生时被分开，并基于不同的生活经历发展出重要的性格差异。

结论

工具融合通常呈现为阵营陷阱：即使你没有明确要求，某些令人担忧的行为仍会出现。我从计算机系统的角度推断，同一现象也可能有积极面：从许多不同的基本目标出发，我们应预期一个强大的智能会在宇宙中传播更多智能，甚至产生许多彼此截然不同的个体。

这一结果似乎与一些人所说的人工智能对齐的最终目标异常契合，尽管智能与其他用途之间的物质分配取决于对新挑战快速反应的选择压力程度。

也许可以与某种机制探测并尊重生物进化的智慧生命为了得出一个好的整体配方（无论如何都需要大量额外的具体化）。

我的下一篇文章会带点元叙事，先做个公告，然后回来提出一个具体的格式，即正式验证的递归自我改进系统，以及一些设计原则的介绍，帮助创建一个好的系统。