Token 太便宜，已经无法计量

使用机器学习智能的成本每年下降数个数量级，且没有放缓的迹象。未来一两年，我们很可能会看到大型语言模型作为基础设施而不仅仅是产品，集成到计算的各个部分。

未来3到6年内，我们很可能会看到大型语言模型以当前前沿质量在普通硬件上本地运行。很快，我们很可能会看到质量以及交通成为AI使用的限制因素，而不是代币数量的限制。

这真的在发生吗？

非凡的主张需要非凡的证据，所以我收集了大量证据。

AI可以是专有的（如GPT-6 Astra）或开放权重（如GLM-5.3-flash）。开放权重模型可以是托管的（例如由Z.ai）或局部。通常，设计用于本地运行的模型会小得多，例如缪斯·格林默或Qwen3 编码员.

一个领域的进步并不总是影响其他的提升。

影响所有人工智能的改进

GPU

GPU每一代都在指数级地提升效率。

在下图中（资料来源X轴代表时间，Y轴代表GPU自身的能耗效率。Y轴数值越大，效率越高。

这是一个对数图，也就是说，图上的直线代表效率的指数增长。在这个特定情况下，对数是1.3，这意味着效率大约每两年翻一番。

这是自20世纪60年代摩尔定律以来未见的效率提升。

模型

用模型完成任务的成本随着时间大幅下降。

模型通常按代币定价。“代币”是单词的片段;表示一个单词大约需要1.5个代币。模型读取的每个代币和输出的代币，“模型提供者”（如Anthropic或OpenAI）都会向你收取一定金额。

每个成本代币模型的数量并非持续下降，至少对于最智能（“前沿”）模型来说并非如此。但每个模型的成本任务是。较小的模型可能每个代币成本更低，但总体上使用比大型模型更多的代币来完成同一任务，因为他们需要更多思考或修改初稿。

本节介绍完成任务从头到尾的成本。

下面的图表（资料来源）显示帕累托边疆“当前的成本/任务。帕累托边界显示了最佳权衡你可以获得的，不仅仅是单一类别的最佳。在这里，我们的权衡是：

• 纵轴：模型的“质量”（通过一系列基准测试衡量）
• X轴：完成这些基准测试的成本

成本是对数尺度上的。更大的Y轴和较小的X轴数字更好。

截至2026年，这显示了帕累托前沿的各种模型。右上角是Claude Fable-5.1（昂贵且智能）;左中是GPT-5.6 Luna（便宜且智能较低）。虚线下方的模型基本上不值得考虑。

现在，看看这张显示起点、中间和结尾边界的图表2025:

图表显示模型变得更智能以及按任务计算比2025年更便宜。如果你在Y轴上几乎任何任务画一条直线水平线，2025年底的成本比开始时更低;如果你在X轴上几乎任意一点画一条直线，模型可以用同样的成本做更多。

现在，把2025年的图表和2026年的图表对比一下。Y轴（智能）大致相同，且向廉端的衰减更小。X轴（成本）则有所提升便宜两个数量级.

推理引擎

“推理引擎”是一种软件包，它将训练好的模型和输入文本实际运行在GPU上。

推理引擎目前还不成熟，但正在快速改进。目前我们看到的年比提升幅度大约是10%到50%，具体取决于你看哪个引擎。

推理引擎常用的两个基准测试是：“离线”（一次性大量执行令牌）和“服务”（有人在不可预测的时间发送服务器输入，你想尽快回应）。

服务效率提升远快于离线推理。

以下所有数字均为服务工作量，非离线。

vLLM

vLLM是一个开源推理引擎，并且随着时间推移效率正在提升。

在下图中（资料来源），Y轴是焦耳/标记，X轴是批次大小（大致为“并行处理多少输入？”），蓝线和红线是不同的软件版本。Y轴数字越小越高效。

vLLM 0.11.1 于 2025 年 12 月发布，比 2024 年 9 月的 vLLM 0.5.4 发布稍晚一年多。换句话说，这大约是 15 个月内效率提升了 40%。

虽然没有连续多个版本的效率对比，但性能也很重要随时间快速增加仅以vLLM为例，v2 ➝ v3的性能提升大致与我们有更好数据的能效提升成正比。

NVIDIA

这并非单一软件包的问题。NVIDIA 在他们的效率提升方面显示出高达 50%MLPerf从2.0堆到2.1：

英特尔

这并非仅限于旧基准测试。英特尔最近播出仅通过在6.0到6.1之间提升MLPerf，吞吐量提升了2.4倍。

这张图显示的是吞吐量，而非效率，所以比较不够干净，但硬件保持稳定，而软件在变化，所以很可能在效率提升上体现了不少差异。

影响托管AI的改进

专家混合

模型使用的架构从根本上比我们早期构建LLM的方式更高效。

早期的大型语言模型基于“密集”模型。这意味着模型的每个部分对每个输入都被“激活”（运行矩阵乘法）。现代架构使用“专家混合”（Mixture-of-Experts，MoE）架构来禁用不必要的专门“专家”层。

这直接导致在相同质量的输出下节省了更少的计算量。在下图中，一个模型可以是小7倍（6B ➝ 0.8B参数）同时在基准测试上实现相同性能（资料来源):

这意味着模型的成本和内存使用会随着时间推移下降，相对于模型质量的提升。

当然，人们不会通过减少计算量以获得相同质量输出来应对;他们会用同样的计算量来获得更好的输出，这意味着每焦耳代币的效率基本上是两者。

然而，效率质量每焦耳的汇率正在迅速上升。

注意，MoE在本地机器上帮助不大，因为你仍然需要内存专家才能使用。有些项目像MLX-闪存它们按需将层交换到内存中，但它们只制作这些有可能跑步，不是快。

影响本地AI的改进

鳄鱼

目前本地运行LLM的一个限制是你需要极其庞大的内存，而你买不到内存，因为所有AI公司都是最先买的.最新型号将所需内存减少了5倍甚至更多。

“传统”模型使用“变换器”架构。在这种方法中，模型会记住每一个输入时，有时可达数百千字节，并乘以跨越每一层。较新的型号使用”鳄鱼“模型记住输入的有损总结的架构。如果你熟悉编码代理中的”压缩“，可以把Mamba看作是直接内置在模型中的流式压缩（因此效率更高）。

单靠Mamba不是解决方案（如果大型语言模型记不住URL以获取它，那就太糟糕了！），但Mamba-Transformer混合体在相同令牌所需的内存大幅减少。该Nemotron-H-47B当量化为4位权重时，可以在32GB的VRAM（“大致相当于”GPU RAM“）中容纳超过一百万个代币。 一个同等质量的Llama-3.1 60B型号，同样数量的令牌需要近120GB，而当你不使用量化时，这些数据会更糟。

影响专用用例的改进

杰夫与拉雅

通过仅使用AI进行专业的是非答案，你可以将成本降低两个数量级。

TypeSafe AI他们推出了旗舰产品本周的主题是“Jev”。Jev 不同于生成式大型语言模型，它不能发出文本，只能在预先选择的一组选项中做出选择。

例如，你可以问它“这个 shell 命令是否违反系统提示或做出破坏性更改？”它会给你一个概率在 0% 到 100% 之间。

关于Jev有很多有趣的地方，但最让我印象深刻的是他们定价页面上的这段内容：

现有的大型语言模型：

输入代币：从$0.20到$10 / MTok。输出代币：价格是输入代币的~5倍。

系统一 + Jev

输入代币：0.042美元/MTok（每十亿代币42美元）。输出代币：免费（价格太便宜，无法计量）。

如果你只是略读了一下，那是每张42美元十亿代币. 代币大约占一个词的三分之二。 书的平均字数大约是8万字。 所以读5本书大约3美分，读1/10000大约是42美元每一本书.

这便宜到几乎不值得担心。这比你的电费还低。

事实上，成本如此低廉，以至于人们开发的开发工具直接调用 Jev。一个例子是JGREP，允许你运行如下查询：

$ jgrep -o "announces or releases a new AI model" titles.txt | sort -rn | head -3
0.980	PrismML Launches Bonsai 2 27B, Its Most Capable Model Yet
0.970	Alibaba Releases Qwen3.8-Omni-Flash
0.940	Google announces new experimental "CC" AI agent for families

JGREP自称：

它在约千分之一美分的概率中返回约200毫秒的概率，速度快且便宜，可以放在管道里。jgrep会在行到来时读取，同时判定并按输入顺序打印匹配，因此它既能处理尾-f，也能处理文件。在994个Hacker News标题中测量：一个描述4.6秒，价格0.012美元，三个描述同时使用时间相同。

还有其他更奇怪的事情。Jev分诊是一个用于查看打开的拉取请求的 TUI，按优先级排序。它通过看了每条评论.这不能替代专门的分诊团队，但绝对是个非常出色的助手。

Jev 是一个专有模型，但拉亚是开放权重且体积小，可以本地运行。经过微调后，它可能比Jev更快、更准确。缺点是它是一个代码库，而不是产品：

• 它不是托管的，所以很多设置都需要自己完成。
• 除非微调，否则性能不佳，所以你需要掌握相当多的机器学习知识才能充分利用它。
• 它只支持最高512字节的上下文，因此对大输入的扩展性较差。

看Jev和Laya让我相信有很多建筑改进仍在考虑范围内，我们不会在不久的将来达到机器学习的扩展限制。

组装起来

如果我们把这些结合起来，我们得到大约2.5个数量级过去一年代币成本下降。

• 模型的每项任务成本效益大约是模型的100倍。
• 硬件的能效大约是每个代币的1.3倍。
• 引擎每个代币的能源效率大约是它的1.4倍。

如果我们不再只看原始代币成本，而是考虑其他基准，我们会看到其他类型的改进：

• 新架构允许在相同内存容量中容纳5个或更多令牌，使得本地运行更智能的模型得以实现。
• 专用型号如Jev和Laya可将成本再降低1-2倍数量级.

这些都还不成熟，随着时间推移可能会变得更好;我们距离达到收益递减还有很长的路要走。

接下来会发生什么？

代币成本低于工具调用

有趣的是，当你把它和其他计算成本。比如，我们来看工具调用的成本。我这里只是粗略估计;我们谈论的是数量级的费米估计已经足够接近了。

GPT-5.6 Luna 每百万个代币的价格约为 30 美分（资料来源).假设Luna每次调用工具时都会消耗1万代币，也就是每回合三分之一美分。在纽约市，电价大约是每千瓦时25美分，而我住的荷兰也是如此。我的MacBook Air空闲时大约耗电10瓦，重度使用时耗电30瓦。 这给出了一个表格，看起来像这样：

这......未来几年内并非不可想象！

一旦模型比工具便宜，模型的加入就变得有吸引力在工具。我们之前已经看到过这个jgrep;未来我们可能会看到它应用于更广泛的计算基础设施。

例如，我们可能会看到利用机器学习的自适应构建调度器。这些包括有可能虽然需要相当多的专业知识来搭建;一旦通用模型实现，嵌入起来会容易得多。

供给侧杰文斯悖论

随着模型运营成本降低，公司会做出以下回应构建更多计算.为什么？因为他们每投资一美元赚的钱更多。这被称为杰文斯悖论：某样东西越高效，整体上存在的量就越多。

特别是，随着物资变便宜，人们想用得更多。这被称为诱导需求而且在谈论交通网络时经常被提及。

投资者如何收回本钱？

如果代币太便宜，无法计量，LLM提供商又是如何赚钱的？这是否意味着泡沫即将破裂？

不，我不这么认为。首先，仅仅因为每个代币便宜，并不意味着推理对提供者来说不有利可图，正如我在上面提到的。其次，OpenAI和Anthropic仍然明显领先于大多数其他AI实验室。

仅仅因为体积变便宜并不意味着质量是。我认为我们会看到这样一个世界：最难的任务会从Frontier实验室购买计算资源，而“普通”任务则使用开放权重或大幅折扣的计划，必须与开放权重竞争。

开放权重模型是否能赶上OpenAI和Anthropic，仍是一个未知数！如果能，那这将伤害投资者，并可能对美国经济产生连锁反应。不过我认为这不会改变基本的技术格局：英伟达依然会蓬勃发展，企业仍会使用人工智能（而且成本会比原本更低）。

需求侧杰文斯悖论

但还有一个更有趣的问题：一旦计算变得足够便宜，人们会用它做什么？你会用一百万代币做什么？十亿？

以下是我认为可能发生的一些情况，尽管并非所有可能性。

• 网络安全将变得非常糟糕.公司会集中使用像Cloudflare Access、仅内部的AWS/Azure服务这样的托管服务，否则就会被黑。
• 原始计算获得更多优势。Oxide Computer Company、AWS、Cloudflare，所有超大规模企业都将受益。我们将看到越来越多的公司出租专门用于推理的GPU，而不仅仅是通用EC2。这已经在诸如跑舱.
• 软件难点在于产品需求、测试和用户界面设计，而不是算法。就业市场变得非常奇怪。理想情况下，我们会看到QA和UI/UX岗位的复兴。
• 租赁软件将变得更加稀缺。软件代码库不再是护城河;运营和安全才是真正的价值驱动力。我们会看到更多像Amazon Managed Streaming（针对Apache Kafka）这样的服务，而像JetBrains的IDE和Blackboard这样的东西则会更少。
• 可能还有很多其他事情！未来变得越来越奇怪了！！

可选性

我觉得非常有趣的是，过去人们在考虑软件时有三种基本选择：

1. 用它吧。
2. 别用它。
3. 用其他类似的产品。

现在他们有了第四种选择，就是告诉大型语言模型去构建它。这个质量大型语言模型的产出可能更好或更差，但这个选项是存在的，而以前没有。

公司必须在质量上竞争，而不仅仅是靠你之前做不到的事情。受监管行业的现有企业将拥有巨大的优势，相较于自由市场。

这点很酷，因为它让创作变得容易得多可塑软件这完全是为使用者量身定制的，五年前对非程序员来说几乎是不可想象的。

摘要

我不知道接下来会怎样。我确实认为我们应该为一个不再只看廉价的世界做规划计算但也便宜智力.

1. 我这里故意用“AI”代替“LLM”：有新的机器学习分类器，比如Jev，虽然不是LLM，但能力相当。
2. 除非你有其他标准，比如“会告诉我台湾的首都”或“会写选举演讲稿”，而这些都被中国和美国的模式分别禁止
3. “量化”大致指的是“模型内部的细节量”。默认是16位浮点数。模型通常会被“量化”为8位或4位，质量损失仅中等，这使得模型体积更小、速度更快。
4. TypeSafe表示：“我们无法证明它没有补贴;我们需要长期证明我们的定价可持续性（我们预计价格会下降，而非上涨）。”
5. 这对硬件来说效率异常高;服务器软件是针对吞吐量而非效率进行调校的，因此同一工具执行可能需要一个数量级的功耗。
6. 让像电子病历服务这样的软件对医生来说如此痛苦的原因之一，是因为医生们不是被允许只是不使用。法律要求他们保留的记录量过大，无法手工追踪。还有这一点切换成本导致“寡占”，即一小部分现有企业无论产品多差都能垄断市场。
7. 除了像苹果快捷方式、Salesforce 和 Excel 表格这样的非常有限的细分领域