前沿模型成本与开源权重流行,正在推动模型路由需求

随着前沿模型公司之间的激烈竞争,以及像Kimi K3和Qwen3.8-Max等空重型号日益强大的性能,模型布线已成为人工智能部署的关键组成部分。

我们刚才看到了Stripe 以超过 70 亿美元收购了 OpenRouter但企业中的趋势同样火热。

格林由前谷歌杰出工程师共同创立并领导阿尔文德·贾因专注于将人工智能引入大型组织。该厂房最后估值为72亿美元1.5亿美元F轮融资去年六月。

今年,它达到了年经常性收入(ARR)3亿美元——15个月内增长了三倍。

Glean的部分使命是选择每个任务使用哪种模型——甚至不确定是否需要LLM。

Jain告诉Latent Space:“Glean的一个重要目标是避免在不需要LLMs的任务中使用它们。”“有时候你会在《Glean》里看到有人在加两个数字或乘两个数字。他们本可以用计算器来做这件事。”

但Glean主要想做的是带来Jain所说的“一个非常有影响力的私人同事”给企业员工。这意味着成为领先大型语言模型的一种元工具。

“你可以把今天的Glean看作是ChatGPT、Claude、Gemini、Grok的超级集。”贾因说。“我们每天使用的这些不同的人工智能产品,Glean将它们的力量融合成一个体验。”

对于企业来说,将人工智能技术引入组织只是挑战的一半。另一半则是将组织知识引入人工智能系统。

“我们的业务最终是深入理解您的数据、知识和信息,同时也了解公司内部的工作如何进行,”Jain说。

模型路由在Glean中的执行方式

那么,模型路由在实际中意味着什么?基本上,Glean提供三个模型选择层级:

  1. 员工可以明确选择模型。
  2. 管理员可以限制模型或施加使用限制。
  3. Glean的自动模式为每个任务动态选择模型。

结果是自动模式主要由Glean的客户出于经济原因选择。

“为什么大家都在谈论模型路由?他们为什么会为此感到兴奋?主要是因为成本问题,“Jain告诉我们。

Glean的另一位联合创始人、工程负责人Tony Gentilcore,最近被认领那Glean“比Claude Code便宜4倍”, “平均每项任务0.45美元,而Claude Cowork为1.84美元。”他把这归功于Glean的“线束和布线能力”。

就个人而言,我们许多人都能从每月20美元、100美元或200美元的LLM服务订阅中获得极高价值。但对于企业来说,每个用户的成本很容易失控。

“人工智能模型变得越来越昂贵,”Jain说。“比如,如果你看看Opus或者最新的GPT模型,最先进的模型。它们不仅非常强大,还能执行比之前型号更复杂的任务。但按代币计算,价格更高——有时是之前型号的两倍甚至四倍。然后用户实际上用这些工具来执行更长时间的任务。所以你按每个用户的花费,比去年多了大约10倍、20倍。所以成本大幅上涨。”

人类反馈循环

Glean崛起的另一个关键因素是它可以看到普通企业用户如何使用人工智能.该产品可能作为“同事”部署给每位员工,同时也用于构建和部署跨部门和职能的代理。

在客户中,Zillow报道7000名员工中采用率达80%,在 Booking.com, “Glean成为首个全公司采用的AI平台。”这种渗透让Glean对AI在企业中的应用有了令人羡慕的视角。

“所以我们能够非常广泛地观察人们实际使用人工智能所做的事情,”贾因说道。“我们可以看到他们在不同类型的AI任务中,先选择哪些模型,什么时候不满意,什么时候升级到其他能带来正确结果的模型。”

这种大规模的人为反馈循环有助于改进模型路由系统。

这是沃尔多,正在收集原材料

Glean架构的另一部分是一个名为Waldo的模型,Jain描述它位于大型语言模型之上。沃尔多是四月推出作为“Glean的第一个智能搜索模型。”

在一篇技术博客文章Waldo被描绘成一种用户查询的过滤过程:“它决定如何拆解问题,使用哪些工具,接下来阅读什么,以及何时有足够证据交给前沿模型以获得高质量答案。”

这意味着模型路由正在进行之后Glean确定了Jain所说的“原材料”,这些材料是完成这项任务所需的。

“我们能够在不烧毁LLM代币的情况下组装完成工作的原材料,”他补充道。

由此推论的是,更便宜且上下文更丰富的模型可能优于充满无关数据的前沿模型。

开放权重模型的快速崛起

贾因确认有现在企业对开放权重模型表现出显著兴趣主要是出于成本考虑。但这只是在过去几个月里发生的。

“去年,开源大型语言模型的使用极其微乎其微,没人真正认真考虑开源,”他说。部分原因是许多开源模型在美国以外开发时存在的“污名”。

但突然间,企业客户的兴趣上升了。

“所以在过去三个月里,由于人工智能变得如此昂贵,企业开始发现维持这些人工智能投资变得难以维持,”Jain说。“鉴于开源完成任务的成本便宜一个数量级,它引发了极大的兴趣。如今,我可以说,在大多数企业中,他们都将开源模型视为人工智能战略的关键组成部分。”

更重要的是,组织现在不再只依赖一两个供应商——而开放式模式的兴起正在推动这一趋势。

“现在没有人愿意只依赖一个或两个模型供应商,而且没人认为没有开源就能生存“贾因说。

评估

在2026年,你无法进行关于人工智能的严肃讨论而不谈评估——评估大型语言模型结果的质量。我问Glean是如何进行评估的,以及这些数据如何反馈到模型路由系统中。

贾因说他们有“内部测试系统”,他们比较不同查询类别的实际工作负载与其他选项.所以他们让模型选择一条路线,同时尝试用“一些可能稍微便宜一点、稍微贵一点的其他模型”来完成同样的任务。

然后 Glean 使用“基于人工智能的法官”用来确定“型号路由器的准确度”。

“所以这里有一种持续学习,会根据新的真实世界流量进行更新,基本上发生的事情是你让模型路由器帮用户完成工作,但幕后你执行同样的任务“贾因解释道。

他补充说,这只是“极小一部分”实际使用量,但在Glean的规模下,这已经足够帮助训练和改进模型路由器。

从企业搜索到端到端的人工智能平台

我们未来关注的潜在空间趋势之一是AI系统在企业中的实施方式——以及一些组织如何全面实现AI原生化。

Glean是一个特别值得关注这些趋势的公司,因为它是最早面向企业的人工智能公司之一。它成立于2019年初,最初旨在解决企业搜索。正如Jain所说,Glean是“首个为企业使用变换器和语言模型的参与者”。

2023年4月,斯维克斯采访迪迪·达斯格林的。Das现为风险投资公司Menlo Ventures的合伙人,曾是Glean的创始工程师之一。但即便到了2023年——大约在Glean推出四年后——关注点仍然主要放在企业搜索上。

如今,到了2026年,企业不仅仅是在使用人工智能进行搜索。人工智能正成为每位员工工作流程中不可或缺的一部分。

正如Das本人所说,这让Glean成为一个更“性感”的AI公司他去年十一月重返《潜空》播客.“总体来说,我喜欢《Glean》的一点是,它是一个后来变得性感的无聊公司,”他说。

这又回到了模型路由的问题。Arvind Jain以致电Glean结束了我们的讨论一个“端到端的人工智能平台”,被其企业客户“大量使用”。他补充说,这使Glean能够“获得进行有效模型路由所需的数据”。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论