重新思考AI代理何时应该做决策——为了"我们"

• 一份新的白皮书认为，你交付给AI代理的每一项任务都会塑造你成为怎样的人，而不仅仅是完成了什么。
• 作者迈克尔·施雷奇认为，人工智能代理对齐是错误的目标。相反，他提出了一个框架，以保持人类判断的参与。
• 通过采用两项新工具——代理宪章和反思托管——组织可以保留更多自主权，决定何时该行动、何时提出或退让。

有效将人工智能代理融入日常工作流程已成为企业的优先事项。从编码到客户服务，智能代理承诺带来更快、更高效且无摩擦的流程。但随着组织扩展这些能力，它们也增加了将更多决策权和人类自主权委托给机器。

迈克尔·施拉奇麻省理工学院斯隆学院讲师及麻省理工学院数字经济倡议，在一份新的白皮书中指出，谁的盟友是“你的”代理人真正的问题不是代理人与你今天的期望契合得多好，而是它是否帮助你成为能够选择更好明天的人。

每一个委托的决定都会将少量人的能动性——不仅仅是工作——转移到机器上。这会让人力资本更有价值还是更低？

施拉奇说：“每一次能动的互动都增强了一些人类能力，同时也让其他能力逐渐萎缩。”“每一次委托都是关于哪些判断形式被实践、哪些外包，以及最终决定人——和组织——成为什么样的人。”

该新兴的战略和运营挑战不再只是代理者能做什么，而是他们培养了什么人类能力——并取代了什么。将越来越大的自主权交给了越来越聪明的人工智能代理可能提升效率，同时悄悄削弱人们自我判断所需的判断力。

问题不仅仅是人工智能是否让工作更智能。而是与人工智能合作是否让人类更聪明。

人工智能代理与我们的“自我”

施拉格不将代理人视为默认决策者，而是探讨他们是否应成为不同人类判断形式的明确盟友——战略性、纪律性、探索性或冲动性——而非默许满足提出提示的偏好。

施雷格借鉴诺贝尔奖得主托马斯·谢林1978年经典论文《自我经济学，或自我管理的艺术》，认为人存在相互竞争的利益。一位准备财报电话会议的首席财务官可能有一个想要挑战假设并保留选择性的战略自我，但也可能是一个疲惫的午夜自我，只想在回家前解决十七个未决决策。

一个被告知“清空队列”的人工智能代理可能有效地服务于第二个自我，牺牲了第一个自我。目前大多数人工智能系统都与当时正在输入提示的人结盟。

施雷奇认为，这种默认状态应当得到明确的治理，而非隐性接受。

更深层次的问题超越了理性长期自我与非理性短期自我的斗争。不同的自我可以代表真正竞争的目标：速度与深思熟虑，探索与承诺，慷慨与纪律，当前表现与未来能力。

智能人工智能并未消除这些冲突。它在冲突中获得力量。

“特工是谁的盟友？凭什么权力？”施雷奇问道。“哪个自我在掌控局面？我们怎么知道？”

如何构建一个AI代理以提升判断力

因此，智能人工智能最具挑战性的前沿不是更高的自主性，而是更好的判断力——知道智能体何时行动，何时提出，何时推迟，何时故意拖慢人类速度。

依赖数据输入带来了施拉奇比作2010年代量化自我运动的挑战。那个时代，人们追踪自己的输出——步数和睡眠数据——将平凡的任务和锻炼变成了一场游戏。

这些测量很精准，但它们大多忽视了赋予这些数字意义的意图、权衡和动机。

施雷格写道：“疲惫、回避自我走的一万步，远不及一个有纪律、有策略的自我走的一万步。”“该运动没有理论说明是哪一个自我被量化。”

为了克服这一点，施拉格提出了一种替代范式：建立在两个互联工具上的量化自我架构。

第一种工具是代理人宪章，明确代理人被授权代表哪些人类利益，可以独立做出哪些决定，以及必须向上反映哪些决策供人工审核。第二项是反思托管：类似财务托管，它暂时保存拟议决策及其背后的理由，然后才采取行动。

目标是明确表明代理人代表的“自我”及其原因。宪章共同定义权威，反思托管则创造问责机制。人类审查既是治理工具，也是改善未来人力与代理人合作的培训数据。

施拉奇预测未来十年，分歧会加大。一派将越来越多地使用人工智能来减少甚至消除审议。另一派则会有意利用人工智能进一步培养和改进。

竞争优势可能来自于与他们合作的更优秀的人才，而非拥有更好的代理人。这就是赌注，施雷奇说。

他指出，已有公司在探索这一想法，并将反思托管与Anthropic 的新反射功能，于七月向Claude用户发布。该功能帮助人们了解他们如何使用人工智能，以及它如何影响他们的现实行动。

Schrage表示，将反射托管功能加入工作流程，是公司寻找并构建人类判断正确检查点的一种方式。

智能人工智能将走向何方？

除了Schrage的工作之外，如何优化人类与AI的协作也是IDE的多位研究人员正在探索的课题。

• 约翰·霍顿和佩曼·沙希迪研究了何时在能动任务中加入人工干预，发现将任务分组——在开始和结束时都有人类输入——能最大化效率。
• 在IDE年会上，蕾妮·戈斯林分享了研究，发现了这种恰到好处的摩擦以极低的成本提升效果。
• Sinan Aral 的应用人工智能研究组发现通过个性匹配人与人工智能改善治疗效果。

当这些研究人员分析人工智能的实际应用时，施拉奇的方法则是理论性的。但让智能体做出正确判断的挑战则不是。他认为，“对齐”是错误的目标。

一个与你昨天想要的完全一致的智能体，可以悄悄地锁定你成为那个人，而不是你选择成为的那个人。

量化自我范式并不适用于每个组织或公司的每个部分。它旨在评估战略决策、专业判断、长期承诺以及能力培养——即人与机器协作时主观决策是如何做出的。

施拉奇认为，智能人工智能的最终目的不仅仅是自动化决策。它旨在培养更优秀的决策者。那些有意管理智能体如何塑造人类判断的组织，最终可能优于那些仅追求速度和效率优化的组织。

迈克尔·施雷奇的工作论文”谁的盟友是“你的”经纪人“完整内容可在IDE官网获取。

本文最初发表于麻省理工学院数字经济倡议.