行为规范：用人类可读规范替代 LLM 评估 Agent

🔥

安库尔·戈亚尔 (@ankrgyl)
我长期以来一直觉得，对于智能体而言，使用大语言模型作为“法官”已逐渐失去效力。有一天，我在喝咖啡时遇到了@mitch_troy，他的一番直言让我豁然开朗，也让我更清楚了其中的原因。智能体的真实“ground truth”并不在于其输出本身，而在于智能体本应如何行事。

之所以如此重要，主要有两个原因：

(1) 要生成高质量的“ground truth”值，难度极大。

(2) 要有效调试智能体为何产生无效输出，就必须深入剖析其行为本身。

随后，Mitch向我们详细阐述了为什么这对他们团队中的税务智能体来说如此困难。这些行为本身往往十分微妙，是他们在Braintrust的大量失败案例分析中积累下来的、来之不易的经验教训；要有效地识别并标记这些行为，就必须对它们进行详尽的记录。

正是在那次讨论之后，我们开始着手构建“行为规范”——一项全新的开放标准，我们正与@trybasis联合发布，用以规范智能体的行为方式。该仓库不仅提供了规范的定义，还附带了公开的示例，帮助大家学习如何撰写优秀的规范、如何利用这些规范评估智能体，以及更多相关内容。

清晰且易于人类理解的表述，是推动智能体系统产出卓越成果的最高效手段。而行为规范则提供了一个框架，通过评估来实现这一目标。我非常期待能以开放的方式参与这项工作，并希望能听取各位的意见，看看我们如何才能让这一规范发挥最大的作用。

欢迎试用并分享您的想法！

agentbehavior.dev/