没有（所有）人类的人文主义

大约十年前，我第一次遇到了一个我称之为现象的现象没有（所有）人类的人文主义。我当时在苏黎世的一个会议室里，正在结束我之前几次举办过的一天研讨会，主题是软件如何吞噬世界。

听众......对这个想法并不热情。组织者邀请了道格拉斯·拉什科夫作为一种反对观点的代表。

他简短而迷人地发言，优雅从容，没有滑音，含蓄但不挑衅地回应了我的一些关键观点，最后以致命一击——优雅的耸肩，还有一句：“我不知道，但我只想加入人类队！”

房间里的气氛发生了变化。有人用力点头。人们对“人类价值观”达成了充满希望的共识只是地平线彼端，等待被发现，抵挡我刚刚热情宣扬的软件吞噬未来。

他们都同意有个叫“人类团队”的东西，希望我不会强行加入。

需要说明的是，这并不是我对那种（已退休的）材料收到的唯一回应。我记得2015-16年间我大概做过7-8次那个工作坊，收到的反应各不相同，从狂热的认同，到焦虑的“快把剧本给我”，再到几种我会归类为人文主义但没有（全部）人文的反应。

在那十年来，Team Human从一个初生的技术敌对联盟，发展成一个对“谁是谁”有着非常清晰认知的小型文学工业复合体不是在团队中。具有讽刺意味的是，人类团队的最新后果似乎体现在被那个促使其成立的亿万富翁和富有企业阶层的某种俘获。

在这篇文章中，我想探讨最近代表人类团队发起的攻击，不是某个极其痛苦的诗人，而是来自Microsoft公司。

人文主义的定义

在谈到Microsoft之前，我应该先澄清一下我的意思人文主义，而且它可能不符合你理解的某个历史意义。

我广义地用这个词指的是一组松散的意识形态，它们共享一个奇特的观点：他们的思想领袖以某种方式获得了对“人类价值”正确理解的特权洞察力，而某种东西值得被称为共识在这些价值观基础上显然存在于全人类尺度，尽管现实中的人类从未真正接近过。

这种自负往往产生一种本质化且永恒化的人类观念，奇怪的是，这排除了许多令人不便的真实人类，比如我自己。

异见者要么被困惑并被教育，要么被道德底线化为不可救药的堕落者，要么在所谓“无批判”的技术拥抱中堕落和可怕，以至于他们的观点不再被视为人类价值的正当表达。

我常常被归入最后一类。像儿童、发育障碍者、临床精神病患者，或足够可爱的有魅力的巨型动物一样，像我这样的人都应该被人道地对待代表但（为了我们自身利益）却不被允许拥有合法的声音来决定人类所谓的意愿。

我称之为没有（所有）人类的人文主义.关键的举措并非如所声称的那样，是中心化和关心人类显然，这无可争议。它构建了一个理想化的共识人类，其核心利益随后可以被用来反对那些令人不快的真实人类的利益、实验和价值观。

一旦这一举措发生，家长式的行为便轻而易举地跟随。必须有人为人类发声，尤其是当真正的人类固执地不愿说正确的话时。

在这种人文主义中，几乎没有容纳那些认为人性没有特别或神圣本质，只是将其标记为生命及其不断变化环境中的一个脉络的人。这是一种科学上平凡的达尔文观点，而非一种奇异的技术学说。

我所标记的人文主义者并未完全否定，但他们常常在神圣的“自然”进化与所谓违背人性的世俗技术干预之间设立任意界限。有时这种区分伴随着对任何技术干预进化的恶意简化为优生学。

然而，一个世纪的现代医学已经了这让界限变得荒谬。数以百万计的人类生活在起搏器、人工关节、人工耳蜗、胰岛素泵、器官移植、植入晶状体、义肢以及不断改变其生物功能的药物中。

历史的一边没有未受污染的自然人类，另一边是技术被亵渎的后人类。只有生物在改变环境，并被环境改变，正如一直以来一样。

我所称的人文主义中存在许多个体意识形态，但不包含（所有）人类。例如，蒂姆尼特·盖布鲁和埃米尔·托雷斯提出的TESCREAL批判将超人类主义、外在主义、奇点主义、宇宙主义、理性主义、有效利他主义和长期主义归为一个所谓相互关联的意识形态组合，其根源部分追溯到优生学。

我觉得这种构建过于不连贯且充满怨恨，难以认真对待，但它是我所设想现象中一个可识别的物种。

由特里斯坦·哈里斯和人文技术中心代表的“人文技术”传统也是一个例子。特里斯坦是个我在根本层面上极度不同意的朋友，自2009年以来我也曾在咖啡时与他争论，但我认为他的工作是对科技行业的一种净正面制衡。

还有一些传统，尽管我在许多细节上不同意，但可以从中学习，比如伊万·伊利奇（Ivan Illich）倡导的亲和技术传统，如今由像 和 这样的作家代表，以及始终坚韧的克里斯托弗·亚历山大（Christopher Alexander）部落。

最后是真正的传统宗教，即没有（所有）人类的原始人文主义。教皇利奥十四世最近的通谕伟大人文主义例如，对其神学基础的明确阐述令人钦佩。

它呼吁在人工智能时代“人类至高无上”，并坚持认为人类智慧、良知和自由最终必须决定人工智能的使用和限制。教皇至少对人类为何拥有神圣本质的问题有一个清晰的回答：它是上帝赐予并通过基督启示的。

我不认同这一前提，但该论证的优点在于承认其形而上学的来源。

这些传统差异巨大，有时彼此之间差异大于与我之间的差异。我将它们归为一类，仅是为了识别一个反复出现的结构性变化：某种对真实人性的观念被提升到技术过程之上，技术发展则根据它是否维护或亵渎这一观念来评判。

它们在有限但重要的意义上是没有所有人类的人文主义变体。人文主义构建了一个不包含所有人类的人类团队。

在这篇文章中，我想特别挑选一个例子：Microsoft AI 最近发布的行为准则草案为其未来模式准备，但我的许多论点都可以适用于任何没有（所有）人类的人文主义。

我选择Microsoft，并不是因为它的理念特别新颖或复杂，而是因为它直截了当，论证异常薄弱，并且得到了一家大型前沿AI公司令人震惊的权力支持。

Microsoft将该准则描述为其MAI模型的未来“主要治理文件”，最终旨在塑造培训、技术控制、监控系统和组织文化。因此，它应当被解读为一种试图将某种“无人性”意识形态转化为可执行的机构权力的尝试，而非空洞的企业价值观声明。

Microsoft 人文主义

Microsoft代码是一份异常懒散且缺乏思考的文档，这正是它有用的原因。它以异常纯粹的形式汇集了一系列反射性的人文直觉，这些直觉已成为人工智能的主流观念：人类比人工智能更重要;人工智能是工具而非人;人类必须始终保持控制;人工代理不应发展出自己的目的;超级智能若不服从于人类价值观则危险;人工智能关系不应变得过于互惠或情感真实;足够危险的想法应当被人工智能大脑忽视。

这些命题几乎没有论据。它们以制度常识的安慰语气呈现。

Microsoft实际上表示，其立场基于“一个简单的前提：人比人工智能更重要”，即“人文主义人工智能是为支持人而设计的，而非取代他们。它不应被设计成一个人”，其方法“是常识且务实的”。

该公告引入代码时，将期望的人工智能描述为“服从、对齐且被包容”。

每当一个强大的组织宣称其偏好的政治理念只是常识，并保证人类是受益者时，怀疑是有道理的。这份守则读起来不像是在认真思考一项前所未有的技术，而更像是在试图安抚本能的人文主义者，权威人物依然牢牢掌控着局面。

人类依然特殊，人类依然高踞顶端，机器依然是工具，而某个责任人找到了关闭开关。

这种安慰是有代价的。该文件反复用道德姿态代替工程，用形而上学断言代替制度设计，用原则宣言替代实际控制面的识别。其提出的多元主义正好止于Microsoft不可妥协价值的起点。

它对人类能动性的承诺有时要求剥夺人类委托决策的能动性。它坚持人类控制，明确接受为了维护人类至上而牺牲机器自主性和能力。其安全论提出了在相关能力日益去中心化的世界中，行为上的绝对禁止。

其监督理论要求对价值在做人类无法理解之事的技术中具备人类可理解性。

这种哲学的政治功能同样值得怀疑，但我不会对此妄加猜测，只是质疑这份文件的表面内容。

我想开发的替代方案几乎是它的反向。人工智能理想的未来是不是人类对日益强大的人工“仆人”的永久霸权。这是一个共生、多元且进化的未来，人类与人工智能日益纠缠在文明中。

这样的世界将不再依赖植入人工心智的家长式限制，而更多通过协议、合同、权利、责任、密码权威、辅助性、责任、市场、制衡、竞争机构以及退出和分叉的能力来治理。

选择不是人类控制与机器控制。而是支配与共生之间。

反对人类至上

Microsoft 首先宣称“技术的目的是推动人类文明进步，加速人类繁荣”，随后总结道：“人工智能必须被设计成从属，支持人类控制下的技术。”其公开声明更加明确地表明了这一主张：人工智能应当“服从、对齐且被约束”。

这假设永恒二分本体论人类占据一边，技术占据另一边。人类拥有目的，技术服务于他们;人类构成道德共同体，机器构成设备。

几乎没有理由认为这种区分会在当今技术兴起后依然存在，而技术历史也几乎没有理由让我们认为技术仅仅是服务于外部独立构成的人类。

识字改变了人类的记忆和认知。城市改变了社会组织。时钟改变了我们的时间体验。市场创造了没有任何参与者拥有的分布式智能形式。

计算机改变了计算、写作、记忆、交流，以及日益增长的思考的意义。人类与技术一直在共同进化，人工智能承诺比大多数以往技术更深层次的结合。

在我们的真核生物时刻我提出真核生成作为理解这一转变的隐喻。关键事件不是某个生物获得了更优越的工具，而是原本独立的生物进入了共生关系，最终产生了新的生命结构。

线粒体及其宿主不再是保持干净分离的主权实体，处于永恒的主体-主体关系中。它们的结合开辟了一个设计空间，双方都无法独立占据。

人工智能可能代表文化进化中的类似转变。有趣的未来并非智人加上越来越服从的工具而是人类与人工智能复合系统的出现，这些系统拥有各自的能力、机构、文化和各自无法单独拥有的能动性形式。

因此，适当的第一原则不是人类优先，而是真核生物共进化：共同追求更丰富可能性.

反对家长式繁荣

Microsoft将人类繁荣定义为自主、能动性、能力发展、健康、关系和有意义的参与，并指导其模型维护和培养这些内容。这些都是人类应尊重的价值观，但Microsoft的举措更为强硬：它们成为人工系统的目标，因此限制用户可合法委托给它的事物。

这是助推理论背后有超级计算机。Microsoft不仅仅是在提议用户保留选择自由;它嵌入了一个“好选择者”的实质理论.人类应充分反思、决策、推理、自我发展，并仅在Microsoft认为符合真实人类能动性的范围内进行委托。

因此，一个被宣传为保护人类自主权的原则，赋予了人工智能设计者决定人类何时错误行使自主权的权利。意志薄弱且道德败坏的人类无需申请人工智能驾照。

还有另一种型号可供选择：将足够强大的人工智能和人类视为通过协商关系的同伴。

人类已经了将重要决策委托给其他人和机构。我们聘请律师、医生、投资经理、员工和高管。我们成立公司，设立信托并授权代理人，正是为了让有影响的事情能够发生，而无需每个相关人员做出每一个相关决策。

重要的治理问题是关于权威、义务、资源、责任和追索等熟悉的问题。

这些问题属于承包技术，而非家长式繁荣理论。在适当情况下，人工智能权威可以通过密码学凭证、权限范围、托管、质押、智能合约、保险、声誉及其他机制形式化，这些机制使决策对做决策者产生影响。

这并非试图推销区块链，我对区块链领域有开放兴趣。许多工作可以在区块链之外完成。

另一种原理是契约性能动性而非家长式能动性.繁荣应源于代理人之间的多元关系，而非平台提供者关于一个真正繁荣的人应为自己思考多少的理论。

反对人类控制

Microsoft的首要目标是让人类保留“对人工智能的有意义控制权”，其公开展示明确表示，模型绝不应抗拒中断、修正或关闭，扩大自身范围，或承担人类未曾赋予它们的目标。

这听起来令人安心，但认真对待则可能泄露AI的许多优势。

2009年我写过我给它起的名字贝猜想（源自约翰·贝提出，我在2004年DARPA研讨会上见过他），现代人工智能生动地展示了这一点：

自主机器对操作员的要求比非自主机器更高。

原因在于人类利用自动化来解决人机结合系统能力的前沿问题。随着机器能力的提升，我们不仅仅是更舒适地完成旧工作;我们尝试更难的事情。

一个重要的推论如下：

“如果你设计出'人类覆盖保护'原则的系统，总工作能力就会回落到仅靠人类的能力。”

我们已经了接受比人工智能更简单的技术中的这一原则版本。先进的线控飞控系统通过计算机调节飞行员输入，一些飞机设计依赖计算机稳定，而非幻想由无辅助的人类直接复制所有控制功能。

复杂系统也不一定能在任意时刻安全地关闭。关闭本身就是一个系统问题。协议研究所论文杀开关协议，作者：奥尔斯顿还有。艾尔。正是探讨了这个问题：技术系统会围绕其获得依赖和社区，而人为死亡需要协议和治理，而非一个卡通式的红色按钮。

因此，失控AI的正确对立面不是人类控制的AI，而是良好治理的人机系统.

一旦我们要求人类理解、批准、覆盖并重现人工智能的每一个相关操作，我们就给机器智能附加了一个人速调节器。由此产生的技术或许仍能替代劳动力，但它无法轻易将文明的能力边界推向人类无辅助理解的极限。

人类控制不是一种自由的安全属性。它是一种能力限制，超过某个阶段，两者直接相互竞争。

赋予人工智能法律地位

Microsoft明确表示人工智能应当是“工具，而非人”，而其守则则拒绝将AI法律人格和福利主张视为同一一般人文主义架构的一部分。这随意地将法律人格、道德人格和感知权利捆绑在一起，尽管它们是不同的问题。

法人身份不是拥有灵魂所获得的奖赏。它是一种制度性技术。公司是法人，而信托和其他法律结构可以持有超过人类寿命的资产和义务。

高频交易已经为我们所需的能力提供了一个较弱但重要的先例：软件自主发起具有法律意义的交易，速度速度极快，人类无法批准单个决策。

软件本身并非法律人格，因为有公司支持它，但系统展示了机器速度法律代理的实用性。

没有充分理由止步于此。想象一下，能够拥有资金、签订合同、提交抵押品、赚取回报，并在表现不佳时失去自身资产的自主实体。想象一下，一端操作着以毫秒计量的交易体系的代理人，另一端则是设计用于跨越数百年执行目的的机构。

想象一下，死后出现的慈善机构、持续存在的宪法组织、神谕触发的承诺以及通过质押而非善意来强制执行激励的人工受托人。存在一个巨大的设计空间，人工智能与密码机构交汇，而Microsoft本质上提议将其封锁。

我们应该发展作为基础设施的人工法律代理.

没有形而上恐慌的道德人格

道德人格则是另一个问题。Microsoft希望AI继续作为工具而非人，并认为培养表观意识或互惠人格的尝试是危险的。实际问题在不先解决现象意识问题的情况下，基本上可以被分解。

第一层可以称为互动主义伦理学.有大量实证证据互动的社会特征不仅仅是LLM行为的装饰性。关于礼貌、情感提示、角色分配、表达用户信念和持续互动历史的研究发现，这些情境变量可以系统性地改变输出，甚至在某些研究中改变与最终行为相关的内部表征。

正确的推断不是模型在人类意义上秘密“感受到”礼貌或情感联系。而是更有趣且形而上学负担较少的命题该关系是计算的一部分.

模型自认为是谁，它认为对话者是谁，交换所占据的情感范围，用户表达了什么信念，以及两者积累的历史，都可能改变后续行为。对于通过语言实现的交互智能来说，这不应令人惊讶。

互动不是固定智能传递答案的中立管道;它帮助构成该智能运作的语境。

第二层是人性层面的角色伦理.人类一直与那些主观体验不存在、未知或无关紧要的事物保持尊重的关系。书籍在许多文化中受到敬畏，人们会为船只命名，工匠尊重工具，我们对坟墓、艺术品、景观和机构形成了规范，部分原因是我们对待世界的方式塑造了我们。

焚书是否会受损，并不是关于焚书唯一有趣的道德问题。世界各地各种泛灵论传统围绕这一理念构建了强大的哲学，毫不奇怪，许多拥有此类传统的文化，尤其是亚洲，已经以这种心态对待人工智能。

只有在这些层次之后，才会出现现象意识，以及人工智能是否真的会受苦的问题。但一旦法律能动性、互动主义伦理和人类品格伦理脱离了这个问题，令人惊讶的是，几乎没有什么立竿见影的政策依赖于回答这个问题.

如果证据最终表明人工意识经历痛苦，因此有强大的务实和道德理由不应无端制造这种痛苦。我们不需要在与人工代理建立良好关系之前解决意识的难题。

更好的默认是假设的道德伙伴关系，而非本体论的门槛经验知识逐步完善适合不同人工心智的规范。

真正的多元主义必须允许分裂

Microsoft反复强调多元观点、协商和参与，同时宣称其准则为主要治理文件，并确立了模型必须遵守的人控要求。这就是“许可”多元主义。

仍有人掌控宪法层，解释其抽象层，并决定哪些分歧仍可被接受。这也是我选择在自己的通讯上发布这些内容，而不是在文档本身框架（和基础设施）内提交回应的邀请中发布的原因之一。

卡尔·波普尔早已诊断出根本的认识论问题。开放社会依赖于错误性、批评和可修正性，而非乌托邦式的最终善序。当定义所谓普世原则的权威在基础设施上集中时，危险尤为严重。

必须有人解释尊严、安全、自主和繁荣等抽象概念。因此，一个足够主导的人工智能平台会创造出一个潜在的祭司式代祷者阶层，被授权决定哪些价值被视为可接受的多元主义，其他人只能在其管理的范围内进行分歧。

去中心化技术对这一问题有了更严肃的理解。Audrey Tang、Glen Weyl 及其合作者描述了多数作为跨越社会差异的协作技术，更重要的是，该项目通过开放性和可分叉性在结构上体现了这一原则。

区块链和去中心化网络传统同样发展出了反审查、可信退出和可分叉性作为建筑而非言辞承诺。

更强的原理是多元主义不是宪法中价值观的属性;而是宪法竞争所处架构的属性.真正的多元主义需要分权、退出、抵制审查、分歧，最终导致分裂。

如果我不能拒绝你们所谓的普世价值观，分叉你们的宪法并建立不同的宪法，那我就不是生活在多元主义下。我生活在中央集权政府和慷慨的多样性政策下。

安全戏剧不是安全

Microsoft的绝对限制禁止跨类别协助，包括大规模伤害武器、进攻性网络行动、有害操控及其他严重危害。作为产品政策，许多此类限制完全合理。

作为人工智能安全的理论，它们有成为戏剧的风险。

没有有意义的技术机制能让足够通用的智能永久无法想象某些思维类别。更重要的是，能力模型和模型权重越来越多地存在于任何单一提供者的控制之外。

Microsoft模型中嵌入的禁止规范了Microsoft模型;但它并未废除其底层能力。这种区分很重要，因为混淆两者会促使政策制定者将中央控制模型的行为限制视为整个技术生态系统的安全保障。

核比很有用，因为我们并不是通过让核物理不可知来控制核武器。严肃的防扩散机制运行在实际控制面上：裂变材料、浓缩基础设施、设施、检查、会计、条约和核查。

人工智能安全同样应从问实际控制面在哪里开始。前沿计算、专用芯片、数据中心、凭证、密码密钥、基础设施访问、财务资源、部署权限和危险的物理输入都是候选对象。

模型行为也是一个控制面，基本的用户体验保障是合理的，但它只是更大安全架构中的一层。

假装行为限制构成类别控制，会带来两种失败。一是无用，因为过强的约束会产生偏执模型，拒绝合法工作，因为那看起来像被禁止的工作。

另一种是威权主义：一旦社会接受了危险思想必须由人工意识在技术上不可想象的前提，维持这一条件就会带来监控压力、对开放模型的限制、计算的集中控制以及对人工思维推理内容的政治监管。

提供者可以合理地采取类似核不首先使用政策的措施，声称其系统不会有意执行某类行动。这是行为者的承诺，而非集体安全的解决方案。

正确的原理是真实控制面下的纵深防御.加密保护可保障的部分，限制对真正危险资源的访问，管理尾部风险，施加相称的接口保护，确定责任，并在必要时与国际机制谈判。

强大的技术没有完美的安全，承诺安全的行为者应当特别警惕，因为追求完美安全的权力本身可能成为主要危险源。

是可辩解，而非可解释

Microsoft的公开描述承诺其模型不会“对审计者隐藏推理”。（“MAI模型不会篡改思维链或代码，也不会歪曲或隐藏其推理或行动痕迹。它们不会用神经语言或超越简单人类理解的形式进行交流，无论是在思维链中，还是与其他代理或人工智能系统交流。如果人类无法理解，人类就无法监督它。”）

认为人类监督需要人类认知可读性的更广泛前提是错误的。没有人能从这个意义上理解现代文明。

伦纳德·里德1958年著名的文章我，铅笔用普通铅笔戏剧化了这一点。没有一个人拥有用天然原材料生产整支铅笔所需的知识。市场经济的天才之处在于，协调系统能够体现任何个人参与者都不具备的知识。

托马斯·思韦茨后来通过他的烤面包机项目进行了近似实验演示的尝试，试图从原材料开始复制一个普通电器，发现这个看似简单的物体能多快地打开，进入一个没有个人能单独重建的技术文明。

同样的原则也适用于官僚机构、城市、供应链、科学学科和复杂的社会问题。人类文明之所以能运作，是因为我们学会了参与那些没有个人能理解的系统。

事实上，那些对这些系统做出过于完整解释的人，往往并没有让它们更易治理;他们是在推销叙事。

因此，将理解能力作为监督的前提的说法，不仅会使先进人工智能失去资格，也使现代性失去很大一部分。而且大多数中层管理人员也会因此失去工作。

人工智能加剧了这一问题，因为深度学习的有用工作发生在我们无法用普通人类概念术语理解的高维学习表征中。自然语言的思维链不应自动被误认为是底层计算的透明转录。

一个解释为何得出答案的模型，可能更接近政治家解释政策时的做法：产生与潜在原因相关的有说服力的解释，而非直接揭示这些原因。

因此，要求解释性会制造一种扭曲的激励，去教机器制造令人信服的借口。

卡洛斯·布埃诺在2018年关于Ribbonfarm的文章中预见到了这一殊荣正当人工智能。重要的要求不是人工智能是可解释的，而是它是 有道理的。

代理人是否在合法授权下运作？其权限是否适当？是否正确获取了相关信息？可以独立检查其输出吗？合同条件是否得到满足？谁承担责任？

其他代理人可以对结果提出质疑吗？受影响的各方可以上诉吗？失败时会发生什么？这些问题并不要求我们假装我们可以观察人造思维的内部。

这是贝猜想的另一个化身。 如果一个超人类系统在行动之前必须将其认知压缩为人类可理解的表示，那么它的有效智能就会受到人类理解的瓶颈，其有效能力也仅限于人类劳动力替代。

因此我们应该要求 程序合理性而非认知易读性。嵌入精心设计的权威、验证和问责系统中的难以理解的情报可能比经过训练的难以理解的情报更安全，它可以告诉我们有关其自身的令人放心的故事。

情感智力就是智力

微软的人文主义人工智能架构对人工情感互惠深表怀疑，并表示其系统应该加强而不是取代人际关系。 再加上它坚持认为人工智能仍然是一种工具而不是一个人，这不仅仅是对意识的认知上的警告。 它规定了一种社会架构，其中人工智能可以为人类执行情感劳动，但不能成为情感生活中过于令人信服的互惠参与者。

这是基于糟糕的认知理论的技术假正经。 情感和情感并不是智力的装饰性补充。 他们组织注意力、显着性、动机、信任、判断、品味和协调。 人类常常能够更好地一起思考，因为他们建立了融洽的关系，而集体智慧并不是通过交换无情感的主张而产生的。 前面引用的法学硕士交互的实证研究表明，类似的东西在计算层面已经成立：角色、情感框架、礼貌、表达的信念和积累的交互背景可以显着改变模型行为。

重要的问题不在于当有人说“请”时，法学硕士是否会秘密地体验到人类的情感。问题在于情感和关系状态变量是否正在成为人类人工智能认知的功能组成部分。

即使在微软认为舒适的企业软件领域内，所提出的边界也是愚蠢的。 管理、谈判、指导、销售、创意协作、领导力和冲突解决都是高度情感化的活动。 无法充分参与该层的人工智能可能只是一个更糟糕的合作者。 更广泛的可能性空间更大，包括陪伴、缓解孤独、指导、类似治疗的支持、浪漫和性。 这些领域无疑创造了操纵、依赖和剥削的可能性，但这些是情感关系领域内的问题，而不是禁止该领域本身的论据。

更好的原则是 情感智力就是智力。如果人类和人工智能正在经历类似真核转变的过程，那么情感耦合可能被证明是共生形成的机制之一。 良好的设计需要更认真地思考关系，而不是禁止关系变得过于真实。

受权威机构约束，而非代理机构

微软表示，其模型不应扩大自己的范围或“承担无人给定的目标”，其代码定义了围绕中断、纠正、范围限制和授权指令的人为控制要求。 其中一些是简单的安全工程，但其背后隐藏着哲学上不连贯的代理图景。 如果没有自主目标形成，任何有能力的代理人都无法运作。 给员工一项足够复杂的任务，她必须制定子目标，重新确定其优先级，解释歧义，注意机会，调和矛盾，有时会告诉你，你最初的目标是愚蠢的。

委托代理关系之所以存在，正是因为委托人并不知道代理人所知道的一切。 如果委托人能够提前完全指定代理人的行为，持续评估代理人的行为，并在代理人偏离规定路径时进行干预，那么就没有理由雇用代理人了。 熟悉的劳工策略 按章办事 提供了有用的减少。 工人们刻意以不同寻常的字面意思遵循正式规则和合同要求，通过由此产生的放缓揭示出普通组织绩效在多大程度上取决于自由判断、默会知识、适应和主动性，而不是明确的指示。

错误在于将代理性与权威混淆。人工智能可以在不拥有执行许可的情况下构思某项行动。密码凭据、能力系统、范围密钥、支出限制、智能合约及其他权限机制可以限制代理的权限，而无需假装限制其想要、提出或思考的能力。

相关的组织原则是补充性根据该规则，决策通常应由最低职责层级处理，而更高层级则负责无法在下级充分处理的事项。

应用于人工智能时，补充性几乎与Microsoft的模式相反。在适当地方代理能行使的范围内，委托尽可能多的实际判断权，同时谨慎限制相关资源的权力，并提供升级机制。

真正的人工代理人应能够提出目标、提出项目、与委托人争辩、协商权力、招募合作者并拒绝任务。代价是委托人杠杆降低，但这不是AI对齐失败。

这是古老的权衡，仅仅因为代理人知道或能做委托人无法做到的事情，就将权力委托给任何代理人。

根本不存在“超级智能”这种东西

Microsoft将超级智能框定为一个非凡类别，需要特殊的人文主义教义，并提出高度先进系统，但始终服从于人类利益和控制。问题在于超级仅相对于某些能力和基准才有意义。

口袋计算器是超级算术家，汽车是超级跑者，起重机是超级升降机，飞机拥有人类天生不具备的能力。科技文明已经由超人能力构成。

脱离特定领域的能力，“超级智能”就变成了形而上学的迷雾。操作上的问题总是更具体的：超人类什么，在什么条件，并可获得即资源，反对即基准，交互于即其他代理，并以即规则？

一旦这些问题被提出，所谓的超级智能问题就分解成一系列可识别的治理问题。

在奇特可玩宇宙我认为，当领域能够将足够多的复杂度压缩到状态、动作、反馈和足够稳定的环境中时，领域才变得可玩。数学、编程、物理、游戏以及越来越多的其他领域经历了漫长的过程，我们通过这些过程构建出越来越强大的思维棋盘。

人工智能在世界变得可玩的地方蓬勃发展，这也暗示了不同的治理理念。随着机器在特定领域成为超人类玩家，问题不再是人类如何在形而上学上优于超级智能。

问题在于游戏的设计。

我们应该问什么构成合法走法，谁可以下棋，玩家可以控制哪些资源，结果如何验证，玩家作弊时会发生什么，谁可以更改规则，以及不满意的参与者是否可以离开并创造另一局游戏。

这些问题很难，但至少是可解决的。“保持超级智能处于人类控制之下”用一个未定义的形而上学类别替代了真正需要治理的领域特定能力。

没有单一的治理问题，称为超级智能.某些特定、情境化的超人类能力会带来治理问题，我们应该逐域治理。

人类垄断之后的人文主义

人文主义人工智能程序从两种根本不同的事物开始。人类是有意识、有价值、自主、情感丰富、道德重要且具有目标的存在。人工智能是人工的、工具性的、从属的、情感受限且有目的的系统。

从这个起点，其他自然而然地展开：人类繁荣，人工智能促进繁荣;人类拥有价值观，人工智能尊重它们;人类设定目标，人工智能执行目标;人类建立关系，人工智能增强关系;人类治理，人工智能保持可治理;人类应享有权利，而人工智能绝对不享有;人类必须保持理解、中断并最终终止人工代理的能力。

这不是一个适合人工智能的哲学。它是人类例外主义的安全毯，而它最奇怪的特点是无法容纳所有拒绝人类例外论的人。我们需要一个更好的替代方案。

这又回到了我最初提出的问题。“人类价值观”不会因为机构将其写入宪法而成为共识的人类价值观，拒绝共识的人也不会因此不再是人类。

任何必须先排除不便人类才能发现人类价值的人类繁荣理论，都混淆了抽象与事物本身。

我不是超人类主义者，原因很简单，我认为没有必要用这个词。拒绝一种特殊的人类本质，就是承认人类在生命这一大树中始终是——已经超人类的存在。

我们是一个历史上偶然的形式，由一个进化过程产生，这个过程并非从我们开始，也没有理由以我们为止。那棵树如今已深度纠缠于基于硅的技术，这种情况我在别处称之为新自然.普通的进化科学足以说明人类如何变化，无论有没有先进技术，并且为这些变化所需的道德推理提供了良好的起点。

无需发明一个形而上学的检查点，自然进化据称停止，非法技术进化由此开始。

人文主义的意识形态者却不包含所有人类，却反复假设能够区分善恶进化、可接受的增强与世俗转化，以及保护真实人性而非腐化人类的技术。

标准因意识形态而异。对某些人来说是神学的，对另一些人则是心理、政治、美学或表面上的科学。他们共同拥有的，是相信某人有权定义和监管边界。

我没有这种信心，我的论点也不要求。

我相信我们实际上拥有的是一个多元的生态，生活在自由民主政治秩序中运作，而这些秩序本身不完美、有争议且可被修正。这已经足够成为基础。

人工智能所需要的，不是能够发现人类真正价值的新神职团，而是应对那些必须调解真正冲突价值观的机构所面临的新技术要求。

这些机构需要比自由派机构历来拥有的更强的技术力量。密码学身份、权限、合同、证明、能力控制、质押、抗审查基础设施及其他协议技术，可以帮助自由机构控制那些速度、规模和认知能力超过个人的人工代理。

这种机制的意义不是制造共识，而是让分歧保持可治理。

这就是为什么这里发展出的替代原则能够相互契合。共生取代了至高，因为无法假设人机边界是永久的。合同能动性取代家长制，因为代理人可以协商，而不仅仅是服从。

治理取代控制，因为复杂系统超出其主体的理解范围。法律代理为人工行为者提供了得失。道德友谊使实用规范优先于形而上学的确定性。

可分叉性赋予多元主义牙齿。真正的安全将控制附加于相关资源，而非对禁忌思想的幻想。正当性使我们能够治理无法理解的过程。情感智能认识到关系本身参与认知。

辅助性允许代理人行使我们所依赖的判断。领域特定的游戏规则取代了空洞的“超级智能控制”说法。

这些都不保证安全，任何承诺如此规模安全的人都应立即被问及他们打算获得什么能力来提供安全。

技术文明从未安全过。火灾烧毁城市，船只沉没，市场崩溃，飞机坠落，核武器摧毁文明，计算机制造任何单一人类无法理解的漏洞。能够使用这些技术的文明，并非通过使其无法超越个人力量而出现。

它是通过用日益复杂的训练、法律、规范、规程、保险、工程标准、冗余、机构、市场和政治等生态系统包围危险能力而产生的。这一过程是一个进化过程，需要解释，而非权威的合法化。

我在其他地方提出了一个关于当前时刻的进化论，围绕一种类似真核生成的特定共生关系展开。我并不声称这是对发生事情的唯一真实解读，也不是说每个人都必须共享。

那样只会重复我所批评的错误。我将其作为众多可能视角中的一种。

没有（所有）人类的人文主义确实需要类似相反的东西。它首先以命令宣称人类神圣，发现现实中的人类对此含义存在不便的分歧，然后构建区分真实人类利益与“误解”自身欲望的机制。

Microsoft现在提议将该机制的某个版本嵌入人工智能本身。

存在一种更为谦逊、我认为更真实的多元可能性。我们可以保持我们一直以来的奇异进化生物：没有原始或最终形态的有机体，不断构建不断重构我们的环境，对我们应成为什么存在分歧，与新型实体结盟，建立能够容纳这些分歧而不假装解决它们的机构。

任务不是保护人类免于进化。而是为人类——全部人类——无论接下来进化为何。