Artificial Analysis并未"失灵"，数据证明了一切

和许多人一样，我在过去几周里也看到了大量帖子和推文，抱怨人工智能分析“出了问题”、“毫无意义”以及“被收买了”。发表这些言论的人几乎没有做过任何研究，对基准测试的运作方式及其衡量的内容知之甚少。

大多数人只关心人工智能分析智能指数。这是一项加权综合基准测试，用于在10项不同评估中比较模型的性能。其中大多数评估都在arxiv.org上发表了相关论文。

AA-Briefcase是唯一的私有基准测试，他们还公开了方法论，以明确说明各项模型的权重是如何确定的。有些人似乎并不理解，人工智能分析完全依靠自有资金开展独立的基准测试，且不投放任何广告。

下图展示了他们的支出情况：他们为独立测试Fable 5.1花费了13,129美元。每款新模型似乎都会被纳入基准测试。新的Deepseek V4.1-Flash就是一个很好的例子，它说明了为何某些综合评分会忽略全局。

这款拥有5520亿参数的模型与1800亿参数的Qwen 3.8-Flash-Next得分相同（均为40分），但各项单独的基准测试结果却大相径庭。在大多数评估中，它的表现与Qwen 3.8-Flash-Next相当甚至更胜一筹；在AutomationBench-AA（代理型SaaS工作流）这一项上，它甚至全面超越了GPT-6 Astra（Max），这一点尤为令人惊叹。

然而，在AA-Omniscience非幻觉率这一指标上，它却远远落后，而这一指标通常由开放权重的模型占据绝对优势。因此，这款模型既有长处也有短板，而这正是值得肯定的地方。

所以在你对基准测试或人工智能分析提出质疑之前，请先查看各项单独的评估结果，阅读相关评估的已发表论文，了解分数的汇总方式。

只有这样，我们才能展开有意义的讨论。我与人工智能分析没有任何关联，我只是客观地看待他们所提供的价值。