如何设计以避免对AI的过度依赖

反对过度依赖的设计模式

当信任走得太远时

我们通常把信任当作需要建立的东西。更多的解释、更多的透明度、更多的安心。但用户对输出的信心应该与该输出的真实可靠性相匹配。

当信任度低落时，人们会忽视优秀的工作，停止使用该功能。当信任过高时，人们会接受那些从未被检查过的事情。

当用户缺乏信任时，功能会受到影响。当用户过度信任时，结果也会受到影响。

过度依赖是对我们所建立的事物的理性反应

研究表明这种过度依赖不仅仅是缺乏批判性思考。人们常常权衡检查AI输出的努力与接受它的努力。当验证困难时，接受答案似乎是更简单、更理性的选择。

从设计角度看，减少验证输出所需的努力可能是防止过度依赖的重要方式。

缺乏验证不仅限于低风险的AI互动。研究记录了医疗和航空等高风险领域的自动化偏见，即人们即使具备自己决策的专业知识，也可能遵循错误的系统建议。

更多内容最新研究生成式人工智能也发现了类似的模式，包括医生更倾向于接受错误人工智能推荐。

注意力和时间是固定的预算。当验证成本超过预算允许时，人们自然会寻找降低成本的方法。

设计目标不是让人们不信任AI。而是让适当的依赖更容易：知道何时接受输出，何时质疑，何时验证。

随着模型的提升，这种情况会消失吗？

模型在回答有清晰、可验证答案的问题上越来越好，但人们用模型做的很多事情并不是这样。答案取决于模型没有的上下文：你的团队能提供什么，用户需要什么，或者你愿意做出什么权衡。

在这些情况下，模型不一定是错的。它可能只是缺少信息，导致答案变更。

过度依赖最常见的情况是系统足够好，让人们停止检查，但又不够好到检查变得不必要。这正是信任可能超过可靠性的地方。随着错误发生率降低，我们识别错误的能力也可能减弱。

这在校准依赖度和帮助用户对AI输出应用正确判断力方面带来了设计挑战。

设计师可以通过多种方式来实现这一目标。以下是四种设计方法，可以帮助减少过度依赖：

1. 减少验证摩擦

目标应不仅是向用户展示答案来源，还要让验证答案足够简单，使他们真的会去验证。

当用户需要点击引用，找到相关段落，并弄清楚它如何支持主张时，核实就变成了一项独立的任务。核实越费力，人们越不可能去做，即使信息很重要。

设计模式需要考虑：

• 该主张的核心来源
  将来源直接放在其支持的陈述旁边，这样用户就不用自己判断哪个引用属于哪个主张。
• 深度链接至该段确切段落
  直接引导用户访问相关页面、段落或摘录。
• 内联证据预览
  让用户轻松预览支持证据，而无需他们离开当前工作流程。
• 附有引用的副本
  当用户将信息迁移到另一个文档或工作流程时，保持输出与其支持源之间的连接。

原则：不仅仅提供证据，还要设计一条无缝的验证路径。

2. 将输出拆分为可检查的部分

AI通常将其工作呈现为一个完成的答案：一段、一份建议或已完成的工作流程。这使审阅更为困难，因为用户必须先拆解输出才能评估。

分解省去了在评估输出前重建的过程，可以将单一全局接受转换为一系列较小的判断。

设计模式需要考虑：

• 将输出拆分为可检查单位
  将主张、建议或决策作为独立单元呈现，方便用户单独评估，而非逐一审查大量输出。
• 分离检索与推断
  明确系统在原始材料中发现了什么，而不是从中得出的结论。
• 标记用户的发言。区分用户提供的内容与系统生成的内容，使携带AI作者身份的输出部分在工作推进过程中保持可识别性。
• 展示差异与变更摘要
  对于代理型工作流，应突出变化的原因和变化原因，而不是让用户自己比较之前和之后。

原则：不要让用户拆解答案来理解他们被要求信任的是什么。

3. 说明答案未涵盖的内容

前两种方法让核查变得更容易或更有可能。这种方法告诉用户何时值得核实。知道答案未涵盖预印本的人不会核实主张，但他们会知道答案的漏洞，并能判断是否适合自己的情况。

这只有在用户能够采取行动时才有用。“检索了约1200篇匹配论文中的400篇，2019年至今，未涵盖预印本”可以根据自身需求进行核对。然而，对答案质量的简要判断会给他们更少的依据。

设计模式需要考虑：

• 说明是什么影响了答案，以及它遗漏了什么。
  显示限制结果的来源、时间段和数据集，以及任何不可得或未被搜索的内容。用户很难自行发现空白。
• 说明答案背后的假设。
  展示系统在信息缺失时的既定假设，以便用户判断这些前提是否成立。
  注意：这个答案是生成的，而不是测量的，所以应视为不那么可靠。这里的布局很重要，因为答案前的限制会影响阅读方式。

原则：在判断时，让输出的范围和局限性显而易见。

针对这种方法的特别注意：告诉用户答案覆盖得很好，会让他们有理由不自己去核实，而提出这种说法的系统就是被核查的系统。用户应该能够看到主张的依据。

4. 将验证视为一种习惯而非步骤

随着用户对系统的熟悉，验证往往会减少。当系统表现稳定时，即使错误仍然重要，检查也会显得多余。

认知强制功能是打破这种偏离的一种方式。研究发现，要求用户在看到AI推荐前做出初步判断，或让他们在其他选项之间做选择，可以减少过度依赖。

其理念是创造让用户持续参与决策的时刻，而不是默认接受。

设计模式需要考虑：

• 把摩擦放在关键的地方。在错误可能严重或难以逆转的节点让用户参与，而不是每一步或最后才请求批准。低风险步骤可以保持轻量级。
• 在工程开始前确认房产。当系统推断出目标、约束或范围时，让用户在它影响后续一切之前修正。
• 提供替代方案。给用户提供多个合理的选项，而不是默认接受的单一答案。
  注意：这也使得变异性成为输出的更明显特征。
• 用反思代替打断。对于较长的会话，总结系统的功能、用户接受的内容以及他们所做的调整。

原则：让判断力的行使机会成为工作流程中的反复出现部分，摩擦的程度与后果相匹配。

结论

随着人工智能能力的提升，用户应能理解输出值得多大依赖度，以及情境需要多高的判断力。

这赋予了界面一项重要责任。证据应易于核实。输出应结构化以便审查。决策处应清晰可见限制。工作流程应为用户创造有意义的判断机会，摩擦的程度反映出犯错的后果。

当这些模式协同工作时，验证成为使用产品时的自然部分，而不是用户需要记住的额外任务。

目标是适当的依赖：知道何时输出有充分支持，何时值得深入审视，何时需要人类判断主导。

设计反对过度依赖最初发表于训练营在Medium上，人们通过突出和回应这个故事，继续讨论。