AI 推理革命已经到来

自2020年左右，人工智能主要专注于训练更大更好的模型。大型语言模型（LLM）从数百万参数膨胀到数万亿。这证明了效果：OpenAI于2020年发布的最大版本GPT-3，正确发布回答了在一项流行的知识与推理基准测试中，只有43.9%的问题。

仅四年后，GPT-4o已达同一考试得分为88.7%，与人类专家的成绩相当。

先进的人工智能实验室仍在训练越来越大的模型，但这种训练在人工智能讨论中已逐渐退居幕后。到了2026年，推理——即利用训练好的模型生成代码、写论文或制作我们作为精灵的形象——成为了前沿。

“训练就像是昨日新闻一样，”他说马特·金博尔Moor Insights & Strategy的首席数据中心分析师。“任何首席信息官都只想谈论推断。”英伟达首席执行官黄仁在公司GTC 2026大会上称赞这一变化为”推断的拐点.”

导致这种转变的部分原因很简单：LLM变得有用，所以人们开始使用它们。此外，市场上许多模型都是推理模型。针对用户的询问，它们不仅运行一次推理，而是多次，并以一种称为 思路链条.推理模型产生更长的输出，高推理努力的模型可产生多达20次文本量与那些低强度或不费力的文本相当。

进一步增加了世界的推理工作量，是智能人工智能导致推理不仅作为对用户查询的实时响应，还能全天候运行，自主地朝着用户定义的目标工作。

亚马逊的Trainium芯片最初是为AI训练设计的。然而，亚马逊网络服务选择将AI推理拆分为两部分，Trainium负责计算更复杂的部分，Cerebras的晶圆级引擎负责更耗内存的部分。

亚马逊

由此引发的推理需求爆炸式增长，促成了科技巨头之间意想不到的联盟。OpenAI以及亚马逊部署了大小如晚餐盘设计者大脑尽管亚马逊也有自己的特雷尼姆芯片。

英伟达买了人工智能推理初创公司的关键人才与知识产权格罗克在一项价值200亿美元的有争议交易中。而且人为是支付LLM竞争对手SpaceXAI每月超过十亿美元用于租赁备用计算机。

虽然看起来相似，但AI训练和AI推理在计算上是不同的。科技巨头的这些重大举措表明，为了支持推理需求，我们将需要与专家几年前预期的硬件组合截然不同。

AI推理与AI训练有何不同？

一个未经训练的大型语言模型就像桌上一堆拼字游戏的拼字块。不过，这些字母不是单个字母，而是显示一些单词的碎片，称为标记。你几乎需要写任何东西所需的一切都在，但没有任何东西说不通。

训练模型时，通过大规模猜测游戏来组织这些混乱。模型会显示真实文本，下一个标记隐藏起来，并被要求预测接下来会发生什么。每次猜测后，会揭示正确的标记，然后与预测进行比较，利用差值计算模型的准确性。

游戏不是用一句话进行，而是跨越数十亿条文字。

虽然真正的拼字游戏可以在一包薯片和几杯饮料中进行，但人工智能训练计算量极大。模型通过以下方式更新参数反向传播一个反复计算模型中数十亿甚至数万亿参数中应如何变化以使下一个预测更准确的过程。

这就是为什么科技巨头会如此建筑数据中心比以往任何时候都大。

最终，模型的创建者认为进一步训练不值得花费成本，猜测游戏也随之结束。反向传播结束，参数冻结，LLM成为预训练模型。微调——对更小、更专业的数据进行短暂训练——加入最终调整，模型得以部署。

接下来是推理。这是使用已部署模型的过程，该模型经过训练后学会了按合理的顺序输出拼字牌——即标记。

你可能会认为AI推理计算量较小，因为用于更新参数的反向传播计算被省略了。但是苏迪普·博贾推理硬件公司的创始人兼首席技术官d矩阵解释了推理带来了新的挑战。

这些模型本质上是“自回归”的。也就是说，下一个输出依赖于前一个。“所以要生成下一个令牌，你必须读取上一个令牌的所有权重和所有[上下文]，”Bhoja解释道。

上下文包括你所有的提示、所有大型语言模型的回复，以及你上传的所有文件。这是大量的数据和处理。

LLM通过两个阶段生成回复：预填充和解码。预填充是读取提示符的模型。它一次性处理每个令牌，计算每个令牌之间的关系。该操作称为注意这也是现代大型语言模型（LLM）背后变换器架构的一个决定性特征。

它允许它们在句子、段落和更大上下文中对单词做出反应，而不是单独响应。可以把它想象成在游戏中放置拼字游戏的拼字游戏牌。许多玩家移动棋块，想象它们如何连接。

自我注意力起着类似作用，不过不是移动实体棋子，而是每个棋子向其他棋子发送查询，并获得一个分数，表示该棋子的相关性。

这些查询会产生两种向量：键和值。它们通常被放置在一个称为KV缓存的存储中。这并非绝对必要，因为模型可以根据生成一个新令牌重新计算这些向量。

但几乎所有LLM都使用KV缓存来减少计算量。KV缓存存储在内存中，成为LLM可以返回理解对话的临时缓存板，虽然起初规模较小，但容量可膨胀至数十GB。

预填充是一个可以轻松拆分并并行处理的问题。这就是为什么随着大型语言模型（LLM）的流行，GPU成为主导的人工智能加速器。图形光栅化（计算屏幕上每个像素的颜色）也高度并行，因此GPU架构是自然而然的选择。

接下来是解码。在这里，模型一次生成一个令牌的回复。每一步它取最新的令牌，与KV缓存中的所有权重权重，利用该信息预测下一个令牌，并将新令牌的键和值加入缓存。

然后按顺序重复，逐个令牌。

这正是模型自回归性质对推理速度不利的地方。预测每个代币需要从内存中读取整个模型，而该模型可能包含数十到数百GB的参数（代表模型在训练中学到的数字）。

关键是，这还需要存储KV缓存所需的内存。

因此，所有这些数据在内存中的移动通常需要比推理硬件可用的带宽更多的带宽。因此，GPU的部分计算部分在等待数据时处于空闲状态。

研究人员发现运行开源LLM的Nvidia H100 GPU有50%到80%的时间处于空闲状态。

记忆在推理中的作用

沙里亚尔“沙”拉比Meta硅工程前负责人，也是这家AI初创公司的联合创始人Majestic 实验室，闲置处理器是许多公司在提升AI推理性能时，专注于内存的原因。

“基于GPU的方法会导致计算过度配置，内存需求大减。这推动了大规模内存规模的扩展，”他说。

Bhoja的d-Matrix和Rabii的Majestic Labs都专注于这一内存瓶颈。然而，他们的公司设想着不同的解决方案。

d-Matrix的第二代人工智能加速器，猛禽旨在通过最小化计算与内存之间的距离来提升推理性能。大多数当前AI推理部署中的GPU通过在GPU周边布置高带宽内存（HBM）来实现这一点。

每个HBM是由一组DRAM芯片堆叠而成，并连接到与GPU的超高速接口。这对训练非常有利，但在推理中，这种方式可堆叠的内存容量和所提供的带宽仍令人满意。

d-矩阵的堆叠模具架构

d-Matrix的Raptor通过在DRAM芯片上叠加AI加速器，消除了这一瓶颈。d-Matrix不是堆叠内存，而是将内存和计算堆叠在一起。Bhoja表示，这将数据必须传输的距离从“毫米”缩短到“微米级”。

就像建造摩天大楼一样，垂直布局使得在同一物理占地内实现更多内容。

Majestic则采取了相反的做法。公司不试图缩短计算与内存之间数据传输的长度，而是专注于改进内存接口，以支持更长的线缆线路，同时保持高带宽。

更长的线缆使Majestic能够连接不直接靠近GPU的内存堆栈，消除了HBM的空间限制。

“内存接口的物理距离非常短，可以操作。对于HBM，其物理距离最多可达2到3毫米。你周围有一条海岸线，这是唯一可以放置HBM的地方，”Rabii说。

雄伟主张其内存接口可传输约一米的比特。这得益于专有铜链路和协调数据的内存聚合芯片。Rabii表示：“聚合器是高速接口的终端，也是向众多普通DRAM芯片扩散的方式。”因此，Majestic在单台服务器机架中支持多达128TB的DRAM内存——比英伟达的有显著提升GB300 NVL72 机架，约为20TB的HBM3E.

Majestic Labs 的内存聚合架构

d-Matrix 和 Majestic 有一个共同点：它们都使用现成的 DRAM 而不是 HBM。这是世界上最常见的计算机内存类型;它存在于从智能手机到汽车的各种设备中。

内存分析师吉姆手机HBM的价格是DRAM的两到三倍。d-Matrix和Majestic选择DRAM部分原因是这种价格优势。然而，HBM的支持者，包括像这样的内存巨头三星以及SK海力士，没有闲着。

HBM4，最新版本的HBM内存，现已投入生产，将被以下用户使用英伟达的Vera Rubin显卡预计将在2026年下半年发货。金浩植，记忆系统研究负责人SK海力士，表示HBM4“将通过将HBM的最大内存带宽翻倍并增加每堆HBM内存容量，决定性地打破限制AI推断的内存瓶颈”。

结合芯片以加快推理

大厂——英伟达和亚马逊——正采取全芯片上阵的策略。英伟达的GPU和亚马逊的Trainium训练加速器在部分推理工作负载中依然很出色：预填充阶段，所有上下文键和值的计算。

但为了加速解码，也就是新令牌生成的部分，他们寻求来自小型玩家的新内存架构。

以英伟达为例，较小的参与者是Groq（不要与SpaceXAI训练的大型语言模型家族Grok混淆）。英伟达于2025年底购买了Groq的知识产权并招聘人才，三个月后在2026年GTC大会上，黄仁森也收购了揭幕Nvidia Groq 3 语言处理单元（LPU).Groq的架构依赖于直接内置在芯片架构中的内存——其案例中是SRAM。

除非你是芯片架构师，或者硬核PC玩家，你可能从未真正考虑过SRAM。SRAM的优点是与计算芯片架构紧密集成——与处理器在同一块硅片上——但缺点是密度较低且成本更高。

大多数芯片仅包含几十兆字节的SRAM。然而，人工智能推理激发了对SRAM的新兴趣，作为将存储在内存中的模型权重更接近计算量的手段。

伊恩·巴克，超大规模与高性能计算副总裁兼总经理英伟达，LPU的优先级与公司GPU截然不同。LPU的原始计算能力远低于标准GPU，但它获得了500兆字节的片内SRAM，直接连接到浮点数学单元。

“好处在于内存带宽。LPU的内存带宽是GPU的七倍，”他说。

理论上，Rubin GPU和Groq LPU的预填充和解码都可以加速，实现两者的优点。“我们所有的注意力计算和上下文处理都用Vera Rubin的GPU机架完成，”Buck解释道。

“对于所有专家计算......矩阵乘法，我们在LPU上完成这部分。”公司在Groq 3 LPX中集成了256个LPU，这台系统大小相当于一个数据中心机架。

英伟达的双芯片推理方法

亚马逊网络服务（AWS）方面，提出了成交与Cerebras合作，将Trainium加速器与Cerebras的晶圆级发动机3号（WSE-3）.Cerebras采用了与Groq类似的方法，但规模更大。

WSE-3将整片硅晶圆转化为包含超过4万亿个晶体管的单芯片。该设计不连接外部存储，而是在每片晶圆中刻刻44GB的SRAM。“我们将[模型]权重存储在SRAM上，”他说王志士他曾任Cerebras产品市场总监，现已转投SpaceXAI。

“所以我们一颗芯片上可以轻松支持400亿到800亿个参数。”

亚马逊计划使用AWS Trainium芯片进行预填充，Cerebras用于解码。但Cerebras的芯片也可以单独进行推理。WSE-3是由OpenAI部署用于驱动GPT-5.3-Codex-Spark。

，是该公司编码模式的变体，输出超过1000个令牌每秒。作为对比，OpenAI的标准GPT-5.4部署输出50到125个令牌每秒。

亚马逊网络服务的双芯片推理策略

Cerebras还可以实现预填充，而无需将工作负载转移到不同的专用芯片。为此，它将多个WSE-3芯片网络化，形成一个单一的内存池。“从商业角度来看，到目前为止，我们为客户开发了大约5000亿个参数，”王说。

“但该架构在参数数量上没有固有限制。”

尽管战略存在这些差异，英伟达和AWS似乎一致认为，人工智能推理的未来将通过一种系统方法来解决，将不同类型的芯片聚集在一起，以应对最大的大型语言模型。

或者，正如巴克所说：“要做现代人工智能推理，你需要所有芯片。”

学会用更少的资源做更多事情

英伟达之所以成为全球最有价值的科技公司，是因为它设计了全球最受欢迎的GPU。但并非所有关注都集中在提升人工智能推理硬件上。人工智能研究人员还在学习如何协同优化大型语言模型的软硬件，以最大化内存和计算组件的利用。

大多数计算机以32位或64位格式存储数字。这些格式决定了表示单个数字可用的比特数量。如果可用比特太少，该数字无法存储而不丢失信息。

LLM的质量因更精确的数字格式而受益，但这会带来推理性能的问题。更精确的数字并非免费的。描述它们的比特占用更多内存空间，计算时需要更多的硅和能量。

吉尔·巴克胡斯，人工智能加速器公司的联合创始人坦索丁，表示这在模型尺寸和数字精度之间产生了张力。“你更希望模型尺寸为x但运行8位，还是你更喜欢一个体积是2倍但运行4位的模型？“每个模型的内存和计算量大致相同，”但4位方法能给你两倍的突触数量。人们正在发现[4位方法]是值得的。”

将LLM从更精确的数字格式转换为较不精确格式的过程称为量子化并且已经使用了好几年。然而，研究人员正在寻找新的方法，在保留大部分模型质量的同时，将模型量化。

英伟达最近推出了一种新的4位数字格式，NVFP4，为此目的。AMD,英特尔， 和高通他们转而支持一种竞争性的4位数字格式，称为MXFP4而英伟达也参与了开发。

“这是人工智能的黑艺术，”英伟达的巴克说。当英伟达将DeepSeek-R1从FP8量化到NVFP4时，七项主要基准测试的得分下降不到1%，而性能提升了三倍公司表示。

量化很可能只是尖兵，因为人工智能研究人员和初创公司正在探索多样化的优化机会，其中一些可能极大改变人工智能推理硬件中的硅片结构。

Tensordyne独特的AI推断方法将对数格式与公司Napier芯片中的定制硬件相结合。Tensordyne公司

预计Tensordyne会加速AI基于对数系统的推断，基于对数的性质：A乘以B的对数等于A的对数加B的对数。因此，将数字存储为指数，使芯片能在本应乘法的地方加法。

这在硅片中很重要，因为乘法器电路比加法器耗电更多，消耗的芯片面积也更大。Tensordyne表示，其机架级硬件Napier每用户最多可产生1300个令牌，且使用量低于第十性能与同类Nvidia硬件相当。

蚀刻这家总部位于加利福尼亚州圣何塞的初创公司，甚至设计了能够将大型语言模型（LLM）所用变换器架构直接转化为硅片的AI加速器。

公司没有制造通用GPU，而是将高效变压器计算所需的连接接线接入芯片，使芯片灵活性降低，但更高效，适应当前大型语言模型（LLM）主要执行的任务。

公司表示，他们的首款AI加速器，搜狐可以以惊人的50万个代币每秒运行Meta的Llama 70B模型，尽管这种方法也意味着它无法运行偏离典型变换器架构的大型语言模型。

这些想法是否会奏效，还有待观察。刚刚刻画已发货他们的首个机架将在八月发布。Tensordyne相信其首款硬件将在2027年上市。即便如此，这些初创公司展示了对推理性能的需求正在推动非常规创意的发展。

推理是大家的游戏

人工智能推理加速的多种方法——在内存上堆叠计算、将接口从毫米扩展到米、使用整片硅晶圆进行SRAM、将模型压缩为4位——引发了一个问题：哪一方会赢，哪一方会输？

但专家认为，这很可能不是正确的问题。目前对人工智能的需求永无止境，尽管对人工智能泡沫的担忧笼罩着整个行业，但这并未阻碍增长。

相反，Moor Insights & Strategy的Kimball认为推断技术可能在长期内推动对AI硬件的强烈需求，因为这种需求最终会止步尚不明显。“你可以在组织中增加一百万个代理，”他说。

“这些东西全天候运作;它们不像我们那样晚上五点就回家。”

如果AI推断依然如Kimball所预期的那样受欢迎，这一演变很可能会沿着CPU的轨迹发展。CPU的改进不是单一轴，而是横跨多线战线同时发生。

一旦晶体管扩展放缓，各种芯片和系统架构创新便大量涌现。促成如今无处不在、强大的个人计算的单项创新清单，足以写满数十本书。

几十年后，人工智能推理创新的历史将展现出类似的深度。