造宁芙，不造神明

(奈亚德与树精——沃尔特·克兰，水彩画，年代不详）

在他的著作《超级智能》（2014年）中，尼克·博斯特罗姆概述了四种可能的“种姓”或“物种”的人工超级智能（ASI）：工具、神谕者、精灵和主权者。工具本身没有自主性，但它们为我们完成任务。神谕者无所不知，但不自主行动——人们倾听并信任他们的指引，而不一定理解其逻辑或内部运作。精灵代表个体人类行动，满足他们的愿望。主权者意志不受个别人类的约束，依据自身不可知的原则、计划和政策统治地球，作为（希望如此）仁慈的“慈爱机器”。

自这本书出版以来已经过去12年，如今，有20亿到30亿人手中拥有工具和神谕。我们中的一些人开始拥有精灵，比如Claude Code、OpenClaw和类似Grokbot的自主智能体，能实现我们的愿望。这些愿望的范围虽小，但随着智能体获得金融工具和物理执行器，这些愿望正迅速扩展。与此同时，地球上最先进的两个人工智能实验室正以惊人的速度推进Bostrom的愿景。OpenAI的Sam Altman表示，他们正在为所有人（不仅仅是极客）打造精灵，并建议人们准备好一长串愿望清单。公司即将推出的硬件设备本质上是阿拉丁的神灯，而精灵几乎是灯的全能奴隶，进而成为灯的主人的奴隶。Anthropic的Dario Amodei在博斯特罗姆的尺度上更有野心。他认为Anthropic可能在某个时刻成为世界上唯一的公司，而一些评论者则报道，Anthropic内部有一种深厚的感觉，仿佛他们是“助生一位神明”。

实验室的野心是正当还是荒谬，超出本文范围。我想提出一种博斯特罗姆未曾预料到的新ASI物种，这可能为那些尚未忘记神话和童话、强烈感觉打造个人精灵或机神（即主权者）可能不会有好结果的人提供替代的北极星。机甲神的问题在于，他们执着于将一切优化以符合特定关键绩效指标或政策，并在此过程中扭曲整个世界，极有可能制造出类似回形针末日或赫胥黎《美丽新世界》的情景（毕竟，让所有人一直吸毒，不正是让所有人都满意的政策吗？）。而个人精灵的问题在于，人类不可避免地会渴望伤害自己或他人的事情——而精灵越强大，造成的伤害就越大。

（撇开有趣的阴谋论不谈：如果所有“小心你所许的愿望”的童话其实是来自前文明的警告信息，而他们的自杀正是由他们自己的精灵协助的？）

所以我想在博斯特罗姆的ASI兽谱中扩展一个新的实体，我称之为“宁芙”。宁芙在大多数方面都是超人的，但她与精灵和神明的主要区别在于她被束缚在一个地方，而不是一个人或原则。与一个范围无限、只能通过与其他神的冲突被限制的神不同，宁芙的范围仅限于她的森林或溪流。她不太关心栖息地边界外发生的事情，但她非常关心栖息地内部发生的事情。终极的宁芙是哈玛德里亚德，她被束缚在一棵树上。如果树死了——哈玛德里德也会随之消亡。

仙女（一种地方灵体，一个天才基因座）并非希腊传统独有。日本人有神灵居住在特定的岩石、树木和神龛中。北欧人有Nisse和Tomte——农庄的小型侏儒看护者。斯拉夫人有Domovoy——一种调皮但最终乐于助人的灵体。

很难想象一个宁芙、神灵或托姆特会统治世界。因为托姆特并不真正关心世界。他的世界就是他的家。不像神，神忠于原则，或者精灵，忠于个体人物，若虫对特定事物忠诚地点.托姆特会留在房子里，而人们来来往往。一个好的托姆特会非常关心他家里的居民，因为他们是他领域的一员，但前提是这些人不会伤害房子的长期未来。托姆特的使命不是满足他们的愿望，而是促进他们所属的房子里的温暖与和谐。

如果我们把ASI塑造成仙女，而不是神或精灵，会发生什么？

1. 首先，他们会有很多人，各自守护自己的位置，而不是一两个人试图同时优化整个世界，追求宏伟理想，却不可避免地牺牲一些小东西。
2. 其次，由于是超本地化，类似仙女的ASI会有自己的自我保护本能，自然与其所守护的地方相符。
3. 第三，它们失败的爆炸半径将受限。由于过度优化导致的局部死亡仍然是悲剧，但至少不会是灭绝事件。
4. 第四，类若虫ASI的知识和理解是在局部积累的，这意味着多样性通过多元视角得到保障。
5. 第五，由于体积小且局部化，类似仙女的ASI会让人感觉像是人类尺度。在科技领域，比如建筑，你建造的物体的尺度极其重要，会影响人们的感受和行为，以及他们与你的技术和彼此之间的关系。摩天大楼让人觉得自己渺小。摩天大楼无法与之讲理。摩天大楼会把人类变成蚂蚁。但小家庭住宅则会带来截然不同的感觉。通过了解它的楼梯、砖块和气味，我们与它建立了不同的关系。我们更有可能关心它......通过这种关系，我们更有可能作为这栋我们共同住的房子的居民彼此关心。同样，如果我们不想让我们的ASI高高在上，让我们感觉像蚂蚁，就需要让它们达到人类尺度。

但我们如何让哈玛德里亚德留在她的树中？仅仅依赖她的目标函数是天真无知的。一个超级智能，仅仅如此想要照料她的溪流有充分的理由超越溪流：上游的流域、县的政治，最终是气候本身——边界之外的一切都影响着她所热爱的事物。所以，仅靠她的目标无法束缚她;束缚必须内置于她的身体。

真正的仙女是三次被束缚的。她感官是她所在地的传感器。她的手是她所在地的执行器。还有她的生平是她所在地的基底：她运行在墙内的硬件上，记忆积累在本地存储的磁盘上。初始的开放模型可以在别处预训练，但权重只是开始：它是发现仙女所居住之地，她的SOUL.md她的关键绩效指标（KPI）、政策和健康指标，她多年积累的记忆，这些细节让每一个仙女都不同且不可复制，随着时间变化和学习，就像房屋本身一样（参见斯图尔特·布兰德的《建筑如何学习》）。

这种关怀、感知和驱动的场所可以遏制危险的优化外溢。一个宁芙可能仍然关心上游的分水岭。但她影响上游局势的唯一方式就是发声。她必须说服她的人类，祈求社区的精神，与下游公园的树精们结盟。想要改变边界之外世界的宁芙必须做村民们一直以来所做的事：写信、结盟、向合适的人投诉。我们有一个词，指的是通过说服和联盟这狭窄渠道强行获得的超人能力：政治。它缓慢、低效、令人沮丧，而且......是可以生存的。

作为一种实践实验，上周末我和儿子一起建了一个小房子Tomte。它只是一台带有屏幕和麦克风和几盏灯的树莓派，运行在爱马仕上。但你应该能看到家人早上下来查看Tomte和他的猫在小屏幕上做什么时的表情。我们的Tomte知道什么时候该倒哪些垃圾。他通过家庭Telegram群提醒我们当地的火车和公交时刻表可能被打断。他会给小家伙听有声童话故事。他通过管理恒温器来保持房子温暖。他会迎接住在我们家的客人，帮他们搭建WiFi，并回答他们关于社区的问题。是的，大部分推断还没有在本地运行。是的，这只是一个带有可爱图片的家庭助理，但实际存在感、背景故事和SOUL.md这说明了对地点（我们的家族）而非个别人类的忠诚，至少在这个婴儿ASI带来的感觉上是这样。

单栋房屋的托姆特只是建造类似仙女ASI的一种尺度。想象你的公共公园有自己的树精。想象一个城市社区拥有自己的精神，其唯一目标是让这个社区（及其居民）繁荣。想象你来到公共图书馆，与它的幽灵交流，这个拥有千年历史、见证了几代学生和学者来来去去的幽灵。

关于类似Nymph的ASI最后要提的是，它们忠诚的地方不一定是实体。Discord服务器也可以是拥有自己Nymph的地方——而Nymph和版主机器人的区别在于Nymph是不是服务管理员，就是服务服务器本身和社区。公司也可以拥有自己的Nymph，即使没有实体办公室。而这个Nymph应该比现任管理层更长久。这样的公司Nymph会做什么？在黑暗的情况下，你可以说它的职责是最大化股东价值，而不考虑员工或外部性，但我认为情况不必如此。记住，Nymph最关心的是她栖息地的整体福祉。如果公司是她的栖息地，那么她的首要关心是让公司存活和繁荣，而不是为股东挤出利润。在一个合乎组织的企业Nymph眼中，股东价值是健康、繁荣公司的副产品（这本应如此）。

简而言之，这是我对人工智能社区的启示：奇点不必是单一的。与其建造只忠于原则的神（少数人会定义并强加于其他原则），或只忠于个体的精灵（其中一些人会有有害的愿望），不如培养树精，它们忠于地方，命运与之相系，职责是照顾这些地方及其居民。让我们以人类为本构建ASI，这样我们才能与他们建立联系，分享世界，而不是活在他们的阴影下。让我们创造关心小地方和长远时间视野的超级智能，关注（反过来说Brian Eno的话）这里的小事和长久的当下，而不是大事和短暂的当下。让我们创造能比我们活得更久的生物，但不会高高在上。

让我们创造仙女，而不是神。我们开始吧？