矮王万岁：为什么 4-hi HBM 会赢

高带宽内存一直是推动人工智能革命的关键技术。尽管HBM相较其他内存成本较高，芯片设计师却将越来越多的HBM封装进AI加速器中。客户推动采用新一代HBM设计，同时通过增加更多立方体和更高堆栈来增加每个XPU的容量。

这导致HBM占用的DRAM晶圆容量份额不断增加，导致了我们今天所面临的极端DRAM短缺。

我们现在正处于打破这一趋势的边缘，原因多种，既有技术因素，也有供应链因素。下一代加速器正从目前的标准12-hi转为8-hi协议栈。

英伟达决定通过Rubin Ultra实现这一目标，GPU从标准的288GB降至192GB，而标准的Rubin和B300SemiAnalysis是首个报道这一变化的媒体.供应链现在正准备让8-hi成为新标准，而不到一年前，行业还期待着16-hi及更远。

然而，我们看到这一趋势还在继续发展，正如我们在内存模型.对于对内存带宽最为重要的推理工作负载，4-hi HBM提供了最佳的带宽成本，因此每个令牌的成本最低。

容量在某个阈值之前很重要，超过该阈值后，更多的HBM容量带来递减的效益，而这些增量位也承担相同的BOM惩罚。这正是大型实验室硬件团队希望从下一代HBM4开始在ASIC项目中实现的。

正如硬件设计师专注于在直流功率限制下最大化令牌/瓦数一样，4-hi是如何最大化每块HBM晶圆的令牌数，而HBM也是另一种稀缺资源。

本报告将梳理容量变更的原因，展示HBM容量常常被搁置，并展示这如何成为实验室TCO和内存供应商盈利能力的双赢。

HBM内容趋势已经破裂

HBM一直是AI工作负载的主要工作记忆形式，因为它在容量和带宽之间取得了良好的平衡，可用于通用芯片的训练和推理。SRAM虽然速度很快，但容量较低，使其在某些任务上受限且性能有限。

传统的DDR数字存储器（DDR DRAM）每美元提供更高的容量，但带宽过于不足。

由于人工智能是如此耗费内存的工作量，难怪每个加速器的HBM内容一代代都在不断增加：每个加速器拥有更多立方体，立方体密度更高，栈也更高。

每颗芯片出货量的HBM数量增加也是成本上升的重要原因之一。然而，在过去几个月里，这一趋势已经被打破。下一代Rubin Ultra每个加速器仅配备192GB的HBM，而传统Rubin甚至Blackwell Ultra的HBM容量为288GB！

这与不到一年前Rubin Ultra每显卡配备1TB内存的预期相比，是大幅倒退的！公平地说，那时Rubin Ultra预计拥有4个计算芯片，而现在只有2个。

即使对此进行标准化，这也意味着每个GPU芯片容量从256GB减少到仅96GB。

降低 HBM 密度的决定在很大程度上是出于供应需求。HBM 晶圆非常稀缺。晶圆数量根本不足以供应支持 N3 逻辑所需的 12-hi 立方体数量，而 Nvidia 已在明年获得 CoWoS 的 CoWoS 支持。

转向 8-hi 意味着有限的晶圆数量中能获得更多立方体，有助于缩小差距。

明年HBM成本的大幅上涨也无助于缓解。即使在GPU需求远高于供给的时期，随着组件成本上升，Nvidia也不得不放弃部分利润空间，其中内存是最大的。

HBM密度不断上升的趋势正在打破，这不仅是因为供应问题，还有架构原因和不断变化的工作负载需求。虽然供应和成本是非常重要的因素，但如果这些额外容量对客户来说是必要的，并且明显能带来更好的性能和TCO，Nvidia不会做出这样的决定。

本文的重点是展示，在许多情况下，每GPU额外的HBM容量并不值得付出成本，未来的HBM 4-hi往往是最优配置。

更短的堆栈，相同的带宽

我们想提醒读者一个重要动态，降低堆高对每个GPU容量的降低并不会以带宽为代价。每个HBM立方体可用的带宽无论堆叠高度如何，都是相同的。

在HBM4或HBM4e每个立方体的2048个数据I/O中，这些数据路径平均分配在堆栈中核心DRAM芯片总数中。每个芯片的最大I/O是512个I/O，这意味着4-hi是能够访问所有2048个I/O并最大化带宽的最低堆栈高度。

然而，供应商和终端客户的成本主要由每个立方体的DRAM内容量驱动。HBM的定价主要由每堆栈的GB数决定。而客户从HBM中获得的价值往往是带宽。

因此，较低的堆叠高度意味着终端客户所需的费用/带宽成本大大降低，选择较低的堆叠高度几乎是免费的午餐。

带宽与容量的区别？带宽是王道

虽然不同的AI工作负载需要容量和带宽，但带宽和容量哪个更重要取决于工作负载。我们可以将AI计算分为三大类：预训练计算、训练后/强化学习计算、推理计算。

强化学习与推理非常相似，因此需要类似的架构。在这三个桶中，推理解码主要受带宽限制：每个生成的令牌都需要读取所有活跃模型参数以及存储在内存中的用户KVCache。

强化学习（类似推理）仍然偏向带宽受限，但由于关注大批量处理，需要比推理更多的容量。而预训练对容量更为敏感，因为HBM用于存储训练运行中的权重、梯度和激活，而不仅仅是权重和用户KV用于推理前向传递。

一个重大变化是，随着终端令牌需求的增加以及后训练技术成为模型扩展的主要载体，分配给预训练的计算份额大幅减少。结果是，大部分分配的计算现在变得对带宽敏感，而非对容量敏感。

这并不是说容量对推理无关紧要，容量在一定程度上很重要。Cerebras 和 Groq SRAM 机器的一个主要弱点是，尽管 SRAM 带宽充足，但它们的容量却非常有限，能够非常快速地送达令牌。

简而言之，需要一个容量阈值：推理系统需要有足够的高带宽内存容量来存储模型权重以及用户的 KVCache。超过这个阈值后，容量增加的收益递减，正如我们将展示的那样。

另一个重要点是，这不是每芯片的内存，而是每个系统的总内存。Frontier型号的大小早已无法安装在单芯片的内存上，需要在多个芯片的内存中分片。

这就是为什么网络是AI系统设计中不可或缺的一部分。对于当今所有Frontier模型采用的MoE架构，最优系统通常是单一规模化的世界，具备快速低延迟的通信（例如整个机架内的NVLink），支持广泛的专家并行，每个GPU上仅加载少数专家。

这种配置允许每位专家处理更大的令牌批次，提高计算和内存带宽利用率，但代价是GPU间的全对一通信成本大幅增加

虽然模型权重和用户对KVCache容量的需求都在增长，但全球规模的巨大提升使每个节点的聚合内存能够跟上。在Hopper时代，一台H100 HGX系统提供了640GB的聚合HBM。

Llama 3.1 405B（当时最好的开源模型）的权重会占用其中63%的容量，为KVCache留出了一些（但不多）剩余空间。这就是为什么H200每显卡额外提供61GB内存如此重要。

每台服务器拥有1128GB内存，这为容纳更多KVCache和服务更多并发用户提供了大量增量余裕。

通过GB300 NVL72机架级解决方案，英伟达实现了全球规模的9倍放大，同时通过使用12-hi HBM和增加每GPU的HBM立方体数量，使每GPU的HBM容量翻倍。

这使总HBM容量比H200 HGX提高了18倍。这一增长远超目前最大开源模型Kimi K3 2.8T的参数增长近7倍。通过将16/8位量化为4位四分之一精度，容量负担也显著减轻。

一个存储在MXFP4中的2.8T复制品仅占用1561GB，不到8%而GB300 NVL72上则有近21TB的HBM容量。全球规模的放大也没有减缓。Rubin Ultra的重大升级将转向NVL576，比NVL72再增加8倍，这完全抵消了每GPUHBM容量减少三分之一的部分。

在机架级服务器时代及以后，可用的内存容量远远超过模型重量所需的，为用户KVCache提供了非常舒适的剩余空间。.这大大减轻了HBM的容量压力，也让每芯片的HBM密度得以放松。

这与之前小规模服务部署时代不同，当时模型权重占用了大量总内存。当时，提高每GPU的HBM密度是获得宝贵容量余量的关键方式。

虽然“低堆栈、更便宜带宽”的说法是合理的，但我们直到最近才看到高堆栈的趋势逆转，因为每芯片的最低HBM容量阈值最近才大幅降低。

我们认为这一趋势还会更进一步。Frontier实验室的硅片和硬件团队认为4-hi HBM是许多推理工作负载的最佳SKU，因为它能提供最佳的性能和TCO，现在我们将深入探讨原因。

带宽与容量的最佳组合

带宽和容量之间存在最优比例，但这些容量往往会被过度配置或搁置，导致每个令牌的带宽不足以读取HBM中所有可用容量。

我们先从一个简单的例子开始。每个HBM4E堆栈提供3,328 GB/s的标称峰值带宽（假设有2048根引脚，每个13 Gbps）。对于HBM4E，每个核心芯片是32 GB，这分别是4-hi、8-hi和12-hi的16 GB、32 GB和48 GB。

一个示例序列，每个令牌可用100个令牌/秒，即3,328/100=33.28GB的内存带宽。然后我们将每个令牌可用的带宽除以立方体容量，得到每个令牌能执行的总堆栈读取次数。

在每个令牌1个堆栈读取中，这意味着容量和带宽完全匹配：一个令牌拥有读取HBM中所有工作数据且不多不少的带宽。

数字大于1表示带宽相对于容量“超额配置”，因为令牌只需读取工作集一次（即一次前向传递）。然而，带宽很少是“多余”的，因为额外的带宽预算可以通过增加每秒令牌数来消耗。

数值小于1表示令牌没有可用的带宽来读取所有可用的HBM容量。为了在给定吞吐量下服务令牌，工作集的带宽不能超过每个令牌的可用带宽，因此必须低于总内存容量。

这会导致多余的内存容量被过度配置。

如上表所示，token/s的增加会降低每个token可用带宽，使栈读取/token比率降低，从而增加容量过度配置的可能性。这造成了不对称性，即拥有大量带宽而非大量容量更为可取。

带宽通常可以被全部使用，而多余容量则无法被充分利用，同时成本也在不断增加。

当然，这是一种简单的分析，忽略了为多个并发用户提供批量处理请求的情况。批处理在推理经济学中起着关键作用，因为批处理可以在特定交互性层面最大化总令牌吞吐量。

批处理的最大节省来自于将一次权重读取分摊到多个用户请求中。更高的并发也会消耗内存容量，因为每个用户的KV缓存都需要加载到内存中。

增加批处理规模通常是推理工作负载变得受限于内存容量而非带宽限制的原因。当HBM容量足够轻松承载模型权重时，额外的HBM容量的好处是可以提供更高的令牌吞吐量，这也是为什么额外的比特值得为BOM带来价值。

考虑批处理后，结果就是上述广义曲线。其他条件相同的情况下，更高的HBM栈能带来更高的吞吐量，直到达到某个每个用户的延迟SLA，届时额外容量变得多余。

这些节点由不同曲线重叠的点表示。

“每用户延迟SLA”是最小的交互性假设。这是最小的，而非实际的交互性。当并发被容量限制时，意味着有额外带宽支持更高的令牌/s/用户。

因此，尽管4-hi能实现更低的并发，但更快的token/s/用户完全或部分抵消了更小批量处理的影响，从而提高总令牌吞吐量。

并发基于容量受限时最大并发率较低者：即单个用户可容纳内存的KVCache集合数;带宽受限时：在最小交互性下可服务的最大用户数，考虑上述每个令牌计算可用的带宽。

将用户乘以令牌/s/用户，得到每秒产生的总令牌数，即吞吐量。

这些曲线可以通过展示更多容量（通过更多批量处理）实现的代币吞吐量，从而告诉我们额外容量在推断性能上的价值，同时也显示在最低交互性阶段，额外容量在哪些阶段没有带来价值。

这在很大程度上取决于模型大小，换句话说，HBM容量中需要分配给模型权重的百分比。一般来说，模型尺寸越大，曲线会向右移动，使得更高的堆栈在更高的交互性点提供更高的吞吐量。

此外，更高的堆栈也会带来更大的峰值吞吐量提升。这又回到了批处理的经济性。每一步都会读取权重一次，无论批次大小如何，因此权重占用量越大，每个额外的并发用户解锁的吞吐量就越多。

让我们用实际数据来分析，看看目前最大的开源模型Kimi K3会是什么样子。这是一个屋顶线分析，实际上，实际实现的内存带宽明显低于峰值带宽。

真实结果会显示最小交互性阈值向左移动，因此总体结论是相同的。此外，这个练习仅聚焦于拆分的PD设置中的解码池。真实交付的结果请参见我们的InferenceX和AgentX基准测试。

我们使用Rubin Ultra NVL576系统，因为它更能代表HBM4E时代的放大世界规模。我们假设HBM是HBM4E，速度为13Gbps。4-hi、8-hi和12-hi分别意味着每块GPU128GB、256GB和384GB。

对于这套NVL576系统的Kimi K3，每块GPU可容纳16.8GB权重，相当于每个HBM堆栈2.1GB。我们可以看到，在最低SLA为105 tok/s/用户时，12-hi HBM的吞吐量并不高于8-hi HBM。

当交互性进一步翻倍到213 tok/s/user时，高于4-hi堆栈就没有优势。在最大吞吐量方面，8-hi 相比 4-hi 提供了 8% 的最大总令牌数提升 8%，而 12-hi 提升了 10%。

然而，再次降到4-hi 能提供的最大吞吐量时，交互性会翻倍多。我们还重申，实际上由于无法充分利用所有原始内存带宽，实际结果会使这些曲线向左移动，意味着高容量的盈亏平衡互动点较低，可能影响用户认为极低的速度。

我们可以看到，虽然容量增加可以为这些模型带来略有增加的代币吞吐量（撇开更快代币的好处不谈）。那么问题是，额外的吞吐量是否值得与更多内存相关的额外BOM成本。

HBM是加速器BOM成本的重要组成部分，而由于HBM如此紧张，明年每GB成本将大幅上升。

在考虑成本时，我们建模了最终所有者相较于基于 Rubin Ultra NVL576 系统的基础 HBM4E 4-hi Rubin Ultra 支付的物料清单成本增长。

8-Hi 的全入系统成本增长（我们以 TCO 表示，因为全入系统成本占 TCO 的绝大部分）相较基础 4-HI 系统为 12.1%，而对于 12-HI 则为 26.3%。

然后我们可以比较在最低交互性不同点的代币吞吐量提升与成本增长的关系，以判断更多内存是否能在这些点提供更低的代币成本。

总体来看，12-hi或8-hi HBM带来的吞吐量提升低于因更多内存带来的系统成本增加，也就是说，在这些内存价格（加上Nvidia的margin stack）下，12-Hi和8-Hi HBM的每代币成本高于4-hi HBM。

这还没算上更多HBM节约技术，比如KVCache向低层内存的卸载。下一节将展示我们实际执行的生产运行，展示内存降低如何影响实际吞吐量。

一个真实实验：KVCache卸载缓解了产能压力

虽然减少HBM容量会减少KVCache的存储量，只要模型权重能容纳，但第二层DRAM可以用来存储较“热”且需要即时检索的KVCache。这种方式在代理工作负载中越来越常见，这些工作负载上下文长度极长，会给HBM容量带来压力，但回合间有较长的暂停，因此将KVCache导出到DRAM甚至存储中，而不是完全重新计算更划算。

.

为了测试降低HBM在实际工作负载中的影响，我们在Kimi K3上运行了InferenceX基准测试，且HBM较低。系统配备16GB300 GPU，预填充池用8块GPU和解码池用8块GPU组成的拆分配置。

受限内存工作负载以85%的HBM利用率运行，而正常的HBM利用率为92%。是的，这仅减少了8%的HBM，这远远超过从8-HI到4-HI的50%，但这是因为Kimi K3仅在8块GPU上运行，因此权重占用了大量内存。

这最终导致每显卡KVCache存储减少了20GB。具体来说，对于聚合服务，GPU的KV预算从53GB降至34GB，减少了36%。对于拆分对，比例为44GB到24GB，减少了44%。

总体来看，这对KVCache的HBM预算来说是一次相当大的削减。

从结果来看，我们看到在曲线上的大多数点，HBM限制运行的吞吐量非常相似（用虚线红线表示）。然而，一旦并发超过70，吞吐量就比高HBM运行大幅下降了近30%。

这时，限制内存版本的GPU最高KV占用率达到100%。此时，抢占、重复加载和队列会影响吞吐量。注意，这也发生在曲线上高并发但交互性极低的点。

我们知道DRAM卸载被广泛使用，因为较低的HBM限制配置文件在相同并发下，读取DRAM KVCache的次数是高HBM配置的10倍以上。

在实际工作负载中，我们可以看到将KVCache卸载到DDR DRAM能够非常有效地缓解HBM的容量压力。这适用于Kimi K3，它未考虑最新DeepSeek v4.1闪存模型引入的一些更极端的缓存缩减技术，这些技术相比v4闪存将活跃的KVCache规模减少了约75%。

在这些缩小的KVCache水平下，为了充分利用所有HBM容量而增加并发，工作负载很可能变成计算和网络受限，而非容量受限，从而降低更高层HBM栈的价值。

4-HI是否放弃了未来保障的可选性？

在我们使用 HBM4E 在 NVL576 上进行 K3 屋顶线分析时，明显的缺陷是我们用当前工作负载和未来系统来证明 4-hi 已经足够。只有一年后，这些更大规模的扩展域名和 HBM4E 都会推出，而 frontier 模型的规模也只会进一步扩大。

此外，AI 服务器部署寿命超过 5 年，需要能够在此期间继续提供令牌服务。

如果未来工作负载的模型规模大幅增加，牺牲的容量可能会显著低估未来工作负载的最佳容量需求。例如，假设未来模型规模是Kimi K3的3倍（每用户KVCache也增加了三倍），那么更高层的HBM栈带来的吞吐量提升会更好。

12-hi能比4-hi多提供47%的总代币，8-hi虽然速度只有一半，但代币数量多出36%。在这种情况下，额外的容量开始变得合理，决策取决于更快代币的价值。

在考虑成本分析时，8-hi在低于180 tok/s/用户时，吞吐量超过了总成本的增长。

然而，12-hi 和 8-hi 不值得，曲线上没有任何地方 12-hi 的代币吞吐量增长超过了 BOM 成本的增加。

对此有几个反驳。首先，缩放参数及模型权重对模型能力已不再那么重要。显著增加强化学习以及更多推理/思考时间，是导致模型架构更高效的关键发展。

此外，实际上已确认GPT-6 Astra使用环路变换器而且有很多猜测认为Anthropi最大模型也是如此。环形变换器实际上是多次将输入通过变换器层。

这通过深度来扩展模型，而不是通过加权重。

其次，如果4-hi加速器成为AI服务器加速器安装基数的重要组成部分，研究人员将调整模型以有效支持该硬件。此外，我们了解到Frontier Labs的硬件团队最支持4-hi HBM。

这些团队痴迷于硬件/软件协同设计，他们呼吁4-hi反映出未来模型正朝着不需要该容量的方向发展。

最后，从大方向来看，所有构建和发放模型的人的目标都是提供最多的代币。采用4-hi堆栈才能确保这一点......

最大化代币/瓦特代币/HBM晶圆

最优的硬件架构是最大化每稀缺资源产出的关键。在构建人工智能基础设施时，我们面临许多短缺。电力是关键之一，这也是为什么。当然，金钱是有限的资源，这也是性能/总成本成为驱动硬件决策的恒久价值指标的原因。

如上所述，另一个主要限制是HBM晶圆的供应。虽然未被提及，但对令牌/HBM晶圆的优化可以类似于令牌/w和令牌/TCO。实现这一点的方法很简单：使用4-hi HBM。

由于4-hi堆栈可以获得与8-hi或12-hi堆栈相同的带宽，简单来说，4-hi意味着如果每片HBM晶圆用于12-hi HBM，可采集的内存带宽是3倍，或者是8-hi晶圆带宽的两倍。

考虑到4-hi更高封装产率，这些数字甚至更好。由于内存带宽通常等同于令牌吞吐量，这意味着4-hi是利用有限HBM供应的最大优势。

通过4-hi，HBM立方体的可收割量可能比8-hi多出一倍多。这些立方体只有在能与加速器联合包装并放入系统时才有用。这意味着瓶颈从HBM晶圆转移到供应链的其他部分，如逻辑晶圆（包括加速器和HBM基模）、基板、PCBs、下游集成容量以及许多其他组件。

别忘了部署更多系统所需的全部电力。总体而言，我们相信供应链其他部分在未来几年内能够比DRAM供应更快地提升产能。即使AI服务器供应链无法匹配双倍HBM立方体所需的供应，这也为传统DRAM腾出了空间，这些DRAM可以满足因HBM对整体DRAM供应的蚕食而导致内存短缺的其他应用。

首先想到的是服务器DRAM，每个插槽的DRAM大幅削减，以最大化有限的服务器DRAM供应。这也与支持代理工作负载密切相关，即大量时间实际上是在等待CPU相关执行，而非GPU来解码令牌。

在付费墙后，我们将讨论4-hi对内存供应商的影响，以及4-hi如何为他们带来好处，以及他们的应对情况。我们在我们的产品中拥有更多洞察、产品SKU/供应商决策以及供需细节内存模型.

内存供应商影响