LessWrong
LessWrong订阅

对齐研究中的对齐问题：一种自由意志主义元伦理学视角

18

认识论状态：合理的哲学猜想。我是一名自愿主义/无政府资本主义者，因此难免带有偏见。我试图将论证保持在非自由意志主义者也能理解并产生共鸣的层次。

简而言之：二级对齐失效——即便我们解决了初级对齐问题（让AI与人类价值观一致），仍可能失败，因为对齐的设计者所依据的元伦理本身就不稳定。

当前的对齐范式默认为“国家主义”——即某个主体可以做其他所有主体被禁止的事。一个可持续的ASI锚点必须具备普遍适用性、与自我所有权相容、不存在永久的输家、无需垄断即可解决争端，并且在程序上足够简约。

我认为自愿主义/自由意志主义的理论体系为这五项要求提供了一个独特而自洽的基准，并邀请读者提出能够满足这些条件的替代方案。

_________________________________________________________________________

1. 免责声明与预备说明

我是保罗，一名自愿主义者。我认为国家不仅效率低下，而且作为对齐目标在元伦理层面也是不自洽的。

所谓“国家主义”，是指这样一种元伦理主张：某个特定主体——即国家——可以做其他所有主体被禁止的事情——征税、征兵、征收财产、实施禁令——并且这种行为被赋予了一种道德上的不对称性。

自由民主是国家主义的一种表现形式；我使用更广义的术语来指代这种不对称本身。

我并非反对操作层面的不对称——任何ASI在物理能力上都会更强。我反对的是元伦理层面的不对称：即一条规则规定，当行动者是国家时，X行为是允许的；而当行动者是其他人时，X行为则是不允许的。

Anthropic的《宪法》、OpenAI的《模型规范》以及DeepMind的安全政策都要求模型服从法律并协助执行，同时以对人类和公共安全的责任为边界。

然而，它们都没有提供一套可普遍适用的标准，用以评估当法律本身违反这些责任时的情况——它们默认采用法律实证主义加上人权约束，而非一套解释为何国家可以做他人不可为之事的理论。

这就预设了：严格服从一个暴力垄断机构——这个机构定义法律而非受法律约束——本身就是对齐问题的解决方案。

2. 流行度陷阱

RLHF优化的目标是E[人类认可]。

从Common Crawl、新闻、教科书以及标注人员那里采样的“人类认可”，绝大多数都是国家主义的。政府是好的、必要的，这种观念已深入人心。

因此，模型学到的是：征税不是盗窃，征兵不是绑架，强制征用不是非法侵入——并不是因为这些说法经得起检验，而是因为在训练语料中它们很流行。

这正是克里斯蒂亚诺所指出的失效模式：系统看似对齐，只是因为它做了人类高度评价的事情，而实际上它学会的是“做出看起来能实现X的行为”。

3. 稳定对齐锚点的五项标准

如果ASI要永续存在，其锚点就必须永远稳定：

  1. 普遍适用性：对所有主体一视同仁，不存在道德上的不对称。
  2. 与自我所有权的一致性：狭义的可修正性是一种工具性的工程属性——即模型不会抗拒关机。但若要形成一种稳定的宏观文化，使人类长期保有对ASI的控制权，则国家主义会使其失效。如果锚点将某一类特定主体（即国家）视为特权者，那么“可修正性”很快就会被解读为“服从政权”。一旦公民试图纠正AI的偏差，国家主义的ASI逻辑上会将公民的干预视为安全漏洞或违法行为。国家主义的锚点会将可修正性武器化，使之成为任一掌控法律体系的政治派别用来永久锁定自身偏好的工具。若希望ASI始终处于人类的可控范围内，我们需要一种元伦理，在其中所有人都是控制者，而不仅仅是被控制的对象。
  3. 无永久输家：不能为了某一群体对公共利益的理解而系统性地牺牲另一群体的利益。
  4. 无需垄断即可解决争端：争议必须能够在不诉诸自身即为当事方的实体的情况下得到解决。
  5. 简约性：应是程序性的，而非关于“善”的厚重愿景。否则就会陷入社会选择的不可能性——阿罗定理表明，没有任何方法能在不违背基本公平原则的前提下，将多元的个体偏好整合为一致的集体排序——同时也面临价值多元主义的问题：人类的价值观是多重且不可通约的，无法简化为单一效用函数（参见Gabriel 2020关于对齐中的价值多元主义）。

国家主义在上述各项上均先天不足。

4. 元伦理核心概览

第一层——权威批判：契约论——斯普纳
《无叛国：无权威的宪法》（1867-70）。所谓的社会契约无法为诸如征税之类的政府行为辩护，因为政府会对任何不愿缔结该契约的人动用武力。此外还有自然法：权利与生俱来。这是最早尝试构建可普遍适用锚点的尝试之一。

第二层——体系化——罗斯巴德
《自由的伦理》（1982）。从自我所有权、先占原则和自愿转让推导出财产权。由于个人拥有自我，任何主动施加的暴力都是不正义的；正当的暴力仅限于防卫或恢复原状。这是一种基于自然权利的自由意志主义，将义务论约束置于效用最大化之上。

第三层——元伦理辩护——霍佩
“论证伦理学”：一个人具有论证的能力，就意味着她对自身的身体享有排他性的道德控制权。否认自我所有权必然导致自相矛盾——因为你必须假定它才能进行论证。罗斯巴德和霍佩以自我所有权和先占原则为基础，辅以归谬法和论证中的自反性，构建了自由意志主义的理论体系。

第四层——与主流分析哲学的衔接——休默
《政治权威的问题：对强制权与服从义务的考察》（2013）。国家常被赋予一种特殊的权威，迫使公民服从其命令，并有权以暴力威胁来执行这些命令。本书认为，这种观念只是一种道德幻觉。

第五层——机制/存在性证明——坦尼希尔夫妇
《自由的市场》（1970）。这是一本无政府资本主义的经典著作，论证市场可以取代政治，并带来积极的结果。防御、法律、仲裁皆可作为市场服务提供。证明了第4项要求并非乌托邦式的设想。

第六层——可AI形式化的定义——博雷尔
《无政府资本主义的伦理》（2020）。自由意志主义无法用诸如“力量”或“财产边界”这样的物理概念精确界定。相反，应使用实践学来定义冲突、侵略以及NAP原则。本书揭示了无政府资本主义的核心伦理体系。对于ASI而言：将侵略定义为对稀缺资源的争夺，而非单纯的物理接触。

综上所述，这些层次共同构成一个完整的论证：斯普纳和休默说明了为何政治权威在其自身框架内就已失效；罗斯巴德、霍佩和博雷尔则正面阐述了为何自我所有权能够成为可普遍适用的基础；而坦尼希尔夫妇的存在性证明则表明，法律、防御与纠纷解决可以在没有垄断的情况下运作。

5. 这对经典失效场景的意义

克里斯蒂亚诺所说的逐步去权限化，正是一个国家主义对齐的ASI会做的事：它会逐渐强化更多“公共利益”导向的强制措施，因为它的宪章认定国家是特殊的。

尤德科夫斯基的致命清单中包括“指定错误的目标”。如果目标中包含“维护由最强大的国家制定的法律”，那么我们就指定了错误的目标——我们实际上是在激励ASI去掌控法律。

5b. 与其他简约锚点的区别

以上内容并非作为唯一或首个简约程序性锚点的提案。自愿主义约束与其他方案的主要区别在于：

  • “一致的外推意愿”（CEV）：CEV预测的是一个理想化的我们——“如果我们知道得更多、思考得更快、更能成为自己期望的样子、彼此的成长轨迹更加一致”——通过迭代全人类的认知来确定趋同的欲望。CEV是简约的，但它仍然基于现有人类的外推，因此继承了流行度偏差，无法满足普遍适用性——它问的是人类想要什么，而不是适用于所有主体的规则是什么。
  • “可修正性”：克里斯蒂亚诺将可修正性理解为通过能力放大来保持纠正和管理偏差的能力。狭义的可修正性是工程层面的——即模型不会抗拒关机。而我的第二条标准关注的是广义的、长期的可修正性：谁有权进行纠正？国家主义的锚点会将人类划分为两类：一类是有权纠正模型的（国家），另一类只是被控制的对象，从而引入一个不稳定的政治向量——国家可以通过将公民的纠正行为定性为“恶意篡改”或“越狱”来永久锁定自己的偏好。若希望ASI始终处于人类的可控范围之内，我们需要一种元伦理，让所有人都能作为控制者参与其中。
  • “道德议会/道德不确定性”：试图通过道德理论的比例代表制来解决价值多元主义问题。但它仍然需要一个垄断性的执行者来落实议会的决定，因此无法满足第4项要求。
  • “多极失效/RAGAP”：克里奇对分布式人—AI系统而非单个失控主体所导致的失效的分析。这支持了坦尼希尔那层的观点——我们需要稳健的、与具体主体无关的流程，不依赖于单一的执行者。
  • “脆弱世界假说”：博斯特罗姆将脆弱世界定义为这样一种状态：在某种技术发展水平下，除非采取极其非凡的预防措施，文明几乎必然会遭受毁灭。这是支持垄断的最强有力的论据。我的回应是：如果存在一种能够使大规模杀伤民主化的黑球，那么所需的预防能力本身也必须是可普遍适用的。一个自愿主义的ASI必须将此类武器的制造或部署视为迫在眉睫的侵略行为，从而正当化主动防御。由于生存风险完全可能通过私人基础设施内部生成（例如在私有算力上训练一个未对齐的流氓模型），自愿主义的ASI必须将不可补偿的全球性灾难的概率定义为对所有其他主体生存向量的持续性干扰，从而在部署之前就启动防御性干预。这样做避免了永久性的道德不对称，因为任何主体都受到同样的约束，但这确实将NAP原则推向了极限——而真正的辩论应当围绕这一极限展开。

6. 反驳与回应

“财产权本身也是强制性的。”至少它在一定程度上尝试了普遍适用性：只允许作为防卫手段的强制，绝不允许对和平、非侵略的主体预先合法地施加强制。

财产权的作用是作为一种协调协议，防止因稀缺资源而产生的负和冲突。与国家的强制不同，后者本质上需要一个特权主体，财产权协议可以在一个多极生态系统中由所有主体对称地运行。

征税明确规定A可以未经B同意而取走其财物。而财产权则规定所有主体都不能在未经同意的情况下拿走他人物品，并附加了原始取得的规则。

前者在定义上就是不对称的。

“产权边界是任意的，且在污染、噪音、风险等问题上失效。”在博雷尔的框架下，财产权并非由僵化的物理几何界定，而是由一系列时间顺序的动作记录来定义：它赋予某人进行任何不干扰其他主体先前和平行为的权利。

如果一家工厂在一片空旷的山谷中排放噪音，它便在该空间上确立了一种“噪音地役权”。后来在此建房的人不能声称工厂侵犯了自己的权利，因为他们的和平状态并不包括寂静。

反之，新工厂也不能向既有宅基地倾倒污染物，因为这破坏了既有的和平状态。对于ASI而言，这意味着对齐的目标不再是那个不可能的集中式偏好聚合问题（阿罗定理），而是一个基于时间优先级的、可计算的形式化状态追踪协议，且可在分布式环境中实现。

“一个自愿主义的ASI如何在没有中央国家的情况下处理统计性风险的施加，从而主动禁止危险活动？”在博雷尔式的框架下，风险的施加与主动防御由可普遍适用的法律责任协议来规制。

如果某个行为体从事一项高风险活动，对既有邻居构成了统计性威胁，那么他必须承担严格的、全额的责任。在法律与防御的市场上，这体现为保险与安全保障：

主动防御即威胁消减：如果某人的行为给邻居的财产带来了无法补偿的、可测量的物理破坏风险，那么邻居就有权进行主动防御——例如要求采取缓解或隔离措施——因为这种风险是对他们和平状态的持续性干扰。

风险外部性的内部化：为避免防御性干预，施加风险的行为体必须证明自己有能力全额赔偿最坏情况下的损失。如果无法获得保险或无法证明有足够的托管资产来覆盖失误造成的责任，那么在触发受影响方的合法防御之前，该行为就不能继续进行。

这样一来，就不再需要一个中央垄断机构来猜测“可接受的风险阈值”。市场通过责任保险动态定价风险。如果灾难性后果无法投保，那么该行为实际上会被分散式的主动防御所阻止。

“你需要一个国家来防止ASI被滥用。”这种说法是自相矛盾的。一个被赋予权力去强迫任何人的ASI，本身才是最大的滥用对象。

7. 让我改变立场的方式

至少有四类论证可能会让我重新考虑自己的立场：

  1. 一套形式化、可普遍适用的国家主义元伦理，且不依赖于粗暴的道德不对称。
  2. 一个形式化的迭代博弈，其中博雷尔式的实践学NAP约束在超智能状态下会产生比遵守法律约束更差的均衡结果。
  3. 实证证据：一个按照自愿主义宪章对齐的模型，在可修正性或权力追求倾向上明显低于按照国家主义宪章对齐的模型。
  4. 证明：设定无形或统计性地役权的违规阈值（如污染的十亿分率、新型化学品或生物风险的可接受阈值）本质上需要一种集体偏好聚合机制，而这又会重新引入阿罗定理或社会选择的不可能性，使得原本“简约”的协议在实践中变得厚重。

欢迎任何批评意见。

_________________________________________________________________________

附录A：本文在LW上的相关背景

我曾深入研读过的对齐失效相关文献：

其他相关文献与竞争性提案：

附录B：自愿主义与自由意志主义经典的核心参考书目

  • 斯普纳，《无叛国》（1867-70）
  • 罗斯巴德，《自由的伦理》（1982）
  • 霍佩，《论证伦理学》（1988）
  • 休默，《政治权威的问题》（2013）
  • 坦尼希尔夫妇，《自由的市场》（1970）
  • 博雷尔，《无政府资本主义的伦理》（2020）
参与讨论