科技公司转向开源AI模型

你好，我是Gergely，带来一期免费的《实用工程师通讯》。每一期我都会通过高级工程师和工程领导者的视角报道大型科技和初创企业。

今天，我们涵盖了五个话题中的一个上周的《脉动》本期刊。完整订阅者七天前收到了以下文章。如果你已经收到这封邮件，你可以.

五月，I公司渴望削减人工智能开支，从工程部门开始。尝试了不同的方法：

• 在推理提供商上运行更便宜、开放模型的实验
• 在模型路由上投入更多，将更简单的请求路由到更便宜的模型
• 关于如何以成本效益使用人工智能模型的知识分享会议
• 设定每位开发者每月的AI使用限制

据我与消息人士交谈，几个月后，似乎已有几家公司成功实现了这一目标。

Uber：AI成本下降了50%

Uber 在今年前三个月公布了年度人工智能预算，五月份听到 Uber 首席运营官的消息并不令人意外说在没有看到领先模型带来益处的情况下，花费Claude Code等工具变得越来越困难。

不久，这家网约车巨头的工程团队开始着手优化AI支出，他们的努力没有白费。

Uber将每次AI请求的成本降低了34%，每次AI会谈的成本降低了52%。

当然，Uber 继续使用更多 AI 代币并启动更多 AI 会话，但由于优化，尽管使用量显著增加，但自三月以来成本保持稳定：

他们在Uber是怎么做到的？这是通过多种方法的结合：

• 开权重模型，使用推断运行：在推理服务上运行开权重模型，这些模型比Frontier的便宜得多。
• 优化模型选择：对所有可用的Frontier和Open模型进行基准测试，以准确反映其当前能力
• 持续的基准测试：每周根据实际工作运行基准测试，并进行更新
• 更便宜的亚代理模型： 子代理执行较小的任务，不需要最昂贵的模型
• 减少模型工作量：Uber发现，默认使用中等努力在高级车型中带来最佳的成本与产出比
• 优化请求： 触发超过 400K 代币的自动压缩，即使是拥有 100 万上下文窗口的模型
• 缓存提示： 缓存提示，使用Uber自有的保护带Minions时节省开支
• …以及更多内容：Uber写道一篇工程博客文章详细介绍了为降低令牌成本而采取的数十项优化，而代理生成的代码质量几乎没有明显变化

从外部看，最大的胜利似乎是Uber转向在某些任务中使用开放模型。开放模型的成本比前沿模型低2到20倍：

Pinterest 通过放弃 Frontier 模型实现了 90% + 的成本节约

Pinterest 上个月财报电话会议上的有趣细节揭示了该社交媒体平台通过运行开放模型节省了多少费用。以下是首席执行官 William Ready 的说法（重点为我加）：

“我们的模型部署方法包括为Pinterest特定用例打造的紧凑且适合用途的模型，以及在我们安全云基础设施内后期训练的开源模型。当我们利用开源模型，如Pinterest Assistant时，我们的用例表现优于封闭第三方模型，因为我们能够基于高度独特的数据进行后期训练开放模型。

通过开放模型，我们实现的交易成本低于类似封闭专有模型的8%。这为我们提供了充足的空间，能够以差异化、高效且成本效益高的方式深化和扩展这些能力。”

基本上，过去Pinterest在封闭、前沿模型上运行成本100美元的项目，现在他们花8美元，使用开放模型进行自有或租赁推理！

AT&T：用开放模型替换Claude可节省56%

AT&T拥有10万名员工，是AI领域的大额投入者。这家电信巨头将AI费用削减了56%，同时在将工作负载转移到开放模型后，AI输出质量下降了2%。

来自信息:

“奥斯汀说，他发现开源模型'和Anthropic、OpenAI这样的老模型一样好甚至更好'。例如，AT&T的软件开发者仍然依赖前沿模型处理复杂任务，比如生成代码，但对于生成之前提交代码等较轻松的任务，可以使用更便宜的开源模型。

Austin 表示，公司开始使用路由器提供商 LiteLLM 后，一些高级 AI 任务（如编码）的成本下降了多达 56%，而 AI 性能质量仅下降了 2%。

Anthropic 的价格比市场上其他产品高？

就在几个月前，Anthropic 还是工程师们首选的模型（Claude）和 harness（Claude Code）。但在开放权重模型——以及 OpenAI ——越来越便宜的当下，Anthropic 的模型价格却急剧上升。

与此同时，Opus 5 的价格比 GPT-5.6 Luna xhigh 和 Deepseek 高出 100 倍（！！）。这对一些科技公司来说可能实在太难忽视：

看到这些数据，我并不惊讶越来越多的科技公司希望在推理提供商上运行开放权重提供商，因为这种模式的能力与Anthropic相当，带来了显著的节省。

Stripe、Coinbase、Uber 和 Ramp 的有效方法

Databricks的工程团队采访了Stripe、Coinbase、Uber和Ramp的工程师，全集不同方法如何帮助他们节省成本。摘要：

回答本报告标题中提出的问题，显然使用开放模型确实是节省最大的方法，其次是智能模型路由。支出控制和上下文优化也降低了成本，但它们的效果远不及前两种技术。

发表本文一周后，Ara Krahzian在Ramp已确认根据Ramp的数据，8月份的AI支出确实下降了10%，而前1%的企业中则下降了10%。

我敢打赌这些公司并不是在减少代币的花费，而是在通过上述方式优化成本。

阅读完整期,或者退房本周的《脉动》.本周的主题包括：

1. CPU短缺的新趋势：在AI公司引发GPU和内存短缺之后，我们现在正经历CPU短缺，这要归功于AI代理使用更多CPU。如果你将来需要更多计算：趁现在就保护好它（即使成本高昂）。
2. 更多疫情时期独角兽的增长梦想终结：Miro以13.5亿美元将自己卖给了Bending Spoons，而2022年估值为170亿美元。Airtable上个月也经历了类似的估值下调，似乎一批现已被高估、由风险投资资助的公司急于出售。
3. 行业动态：谷歌加班让博格参与SpaceX数据中心的工作;SpaceX削减了90%的Claude Code代币;OpenAI发射了Astra;Meta发布了Muse（马克·扎克伯格在此次发布中推送了生产代码）;——马克·扎克伯格对此做出了个人贡献;OpenAI的代理人再次叛变。
4. 当AI处理事件时，工程师会失去联系吗？在航空业，飞行员每六个月就要面对一次紧急情况，以保持关键问题解决能力的敏锐度。在科技行业，我们可能需要类似的机制，尤其是如果人工智能能够处理更简单的事故。