前沿 AEO 追踪器:Astra 选择了什么(以及每个前沿模型的选择)

13

天真AutoResearch 投资在我们的AEO中,取得了令人印象深刻的投资回报率,因此自然是时候认真对待它了。我们的灵感来源于克劳德代码真正选择的内容决定根据我们的口味扩展和调整它。

之后a几十亿代币原型制作、对齐和扩展管道,这里该潜空间前沿AEO追踪器.我们的方法论延伸AmplifyingAI 的在7上运行6个提示变体模型(在161年继续搜索)类别,来自编码代理到AI播客到AI沙盒到托管数据库到ASR模型甚至像这样的奇特类别天使投资人以及企业支出以及薪资软件.

答案提取由Astra完成,得分为专有AEO评分赋予第一选择,替代选择,提及, 但还有负权重到温和且强烈的反推荐(虽然罕见,但确实存在)。

因为我们知道你会想要,我们还摘录了前面引用的部分资料来源这些因素会影响代理推荐,以及分析主要失败案例.

基本结果

以下是全球最具主导地位的产品(在其类别中):

里面有一些熟悉的名字——这也引发了我们对污染的自然问题。既然我们没有什么可隐瞒的,每一个提示和答案对是可检查的。

然而,偏置确实存在——当模型被要求推荐编码代理时,比如Fable/Opus。克劳德密码以及类似太阳系/星辰的风格法典而格罗克爱着光标缪斯爱缪斯密码SWE-1.7 则非常喜欢德文诸如此类。

我想知道为什么。你可以看到其他”软偏置“也要出现......

不过,也有一些值得称道的 GPT 模型推荐 Claude,这是一种值得称赞的无偏见:

有28个类别(在我们总共161个模型中)在所有调查的前沿模型中,这些模型拥有普遍占主导的初选。

还有很多“激烈竞争”和“总是氛围好,从不氛围”这些类别本应成为AEO的关键战场。

太阳系与阿斯特拉,欧普斯与寓言

新模型类别的新预训练项目为我们提供了一个机会,让我们可以检查实验室在数据和强化学习优先事项上的方向,并检验初创企业在AEO上的投资是否取得了回报。

我们准备了专门报告,分析我们的排名,观察模型选择中极其重要的反转同一实验室的模型世代之间。

我们有分开的Opus→Fable(作品寓言)以及索尔→阿斯特拉摘要页。对于一些翻页,我们强调了对竞争者在每种情景中表现更好的中立分析。

效率与信心,以及推荐来源

我们在Sol→Astra和Opus→Fable之间最令人惊讶的发现之一是,Anthropic似乎偏向于搜索更多来源(Sol中位数9个来源,Astra中位数5个,Opus中位数11个来源,Fable15个)。

Astra似乎整体上更”自信“,或者”高效“,这取决于你怎么看——当你轻描淡写地转述你的问题时,阿斯特拉改变主意的可能性要小得多。这使得AEO的价值随着选择随机性下降,它本身也上升。

资料分析而且还能比较准确地预测实验室优先做什么、不做什么。

不过样本量很小,只代表我们能从尝试工具调用中抓取到的,而不是预训练数据集。我们能验证的是AEO实践的测量值是奥拉与维尔塞尔,比如降价内容协商是真实存在的,失败会让模型不愿意阅读你的内容。

纯粹是为了好玩

以下是顶部天使根据大语言模型(LLM)中存在的(还有一些重复题尚未完成......)。

查看更多

我们还做了一点家庭纷争类游戏在那里你可以看看你的先验数据是否符合数据。很有趣!

如果有兴趣,我们欢迎进一步的建议和商业咨询以进一步发展。叮@latentspacepod或者发邮件business@latent.space(我们现在有业务经理了!哇!)

正如我们在方法论文章中提到的,我们确实非常努力地想包括Gemini/Antigravity、GLM/Zcode和DeepSeek/DeepCode,但由于错误和速率限制,这些都无法纳入这次首次运行的分析。

如果您代表这些公司,请告诉我们如何提高这些限制。

参与讨论