对OpenAI自研芯片的解读与思考

昨晚美股科技回暖，英伟达结束七连跌收涨超2%，Lumentum、Coherent分别涨超6%和4%，美光、海力士均涨约2.5%。

昨天一大消息是OpenAI公布其首款自研推理芯片Jalapeno（火爆辣椒）的性能测试，在多个指标上超越英伟达GB300。简单谈谈看法。

一、Jalapeno简介与测试

Jalapeno由OpenAI与博通联合开发，在制造工艺上采用N3P工艺，并搭载HBM4内存（容量高达216 GiB），带宽达到15.4TB/s。

Jalapeno的核心定位是专攻推理，也就是模型完成训练后，根据用户提示生成响应并执行任务的阶段。市场此前曾以为Jalapeno只是为GPT模型定制的私有芯片。但它实际是一颗高度通用的推理芯片，且在架构上完全开放。

OpenAI此次使用了自家规模较小的开源模型GPT‑OSS 120B，以及DS和Kimi的第三方模型，主要与英伟达GB300进行对比。测试结果表明：

Jalapeno在单位功耗处理AI工作量、响应速度两个指标上具有优势。

过去，芯片看重的是绝对峰值算力（FLOPS），这在模型训练阶段非常适用，也是英伟达的主场。但到了推理阶段，游戏规则就变了。

OpenAI 面临的现实是，数据中心的瓶颈不是买不到芯片，而是没有足够的电。

建一个配套变电站、拉电网、搞冷却系统需要好几年。因此，对 OpenAI 而言最核心的经济指标不是单颗芯片多快，而是每一兆瓦电能，能吐出多少Token。省电是关键。

Jalapeno抓住了这个痛点：

低功耗：单颗芯片额定功耗只有700W（实际高负载测试甚至在550W以下），而英伟达同级别芯片动辄900W甚至上千瓦；

高能效：峰值吞吐量下，Jalapeno每瓦处理任务量是GB200/GB300的1.5至1.9倍。这意味着，在同样的机房和电力预算下，OpenAI如果用自研芯片，能并发服务更多用户，降低单次查询的物理成本。

而速度优势则表明，OpenAI可以通过它实现过去只有采用不同内存类型和芯片架构的处理器才能达到的效果。不过要注意的是，Jalapeno并未与最新一代Vera Rubin进行对比。

二、Jalapeno架构设计

传统芯片设计里，一直有个矛盾：

想要吞吐量大（一次性处理很多用户请求），就得把任务打包（Batch），这会导致响应延迟高（每个用户要等很久）；

想要延迟低（秒回用户），就不能打包，结果就是芯片利用率低，吞吐量上不去。

英伟达为了解决这个问题，通常需要庞大的软件调度和复杂的硬件分离（比如把负责理解问题的Prefill和负责生成答案的Decode分配给不同的芯片）。

但Jalapeno采用了一种软硬一体协同设计：

内存层级：直接在芯片内部署高带宽HBM4，并让计算核心优先访问本地内存，避免数据在芯片间来回搬运造成的高延迟和功耗；

不分库：未采用目前流行的Prefill/Decode分离架构。因为真实业务流量是波动的，分离架构容易导致一半芯片累死、一半芯片闲着。Jalapeno将所有算力打通，靠软件动态调度；

大容量与高交互并存：在测试Kimi K2.5时，Jalapeno峰值每瓦性能提升约1.5倍，端到端延迟降低3.4倍。

简单来说，Jalapeno既有高并发的吞吐能力，又能保持极快的交互响应。对于未来需要多轮对话、调用工具的Agent来说，这种体验非常具有吸引力。

三、为什么Jalapeno研发这么快？

传统意义上，流片是一项耗时漫长的工程。但OpenAI从最初设计到完成流片，仅仅用了9个月。

原因是用AI造芯片，再让AI写驱动代码。

OpenAI用自家内部模型协助优化芯片的算术电路设计，甚至直接用来编写芯片底层的运行内核。在某些复杂注意力机制和MoE模块中，AI自动生成的代码比专家手写还要快1.5倍以上。

因此，当把第三方开源模型放到Jalapeno上跑时，OA团队在没有任何现成内核的情况下，不到两周时间就完成了高水平的性能优化。

过去，英伟达最大的护城河是CUDA生态，其他硬件跑不通主流模型。而现在OA用模型自动适配硬件的能力证明：

在极致的AI能力面前，底层软件壁垒并不是牢不可破的。

四、总结

客观来看，短期内英伟达并不会受到挑战。OA芯片负责人明确表态，短期内不会放弃现有供应商，并强调“英伟达仍是非常好的合作伙伴”。

对于英伟达而言：推理定价权面临松动，但训练壁垒依然稳固。拿Jalapeno对比GB300并不完全公平，真正要面对的应该是同样采用HBM4的下一代Rubin架构。短期内，英伟达的CUDA生态、全栈网络优势以及在模型训练上的绝对优势，OA无法撼动。

但作为英伟达最大客户之一，OA拥有了自己的推理芯片，意味着在未来算力采购谈判中拥有更强议价权。

对于AMD而言：压力不仅来自峰值算力，更来自软件生态和模型适配的迭代速度。OA用几个月时间展示的软硬件协同效率，凸显了AMD在软件栈上的相对短板。

我们看到了产业发展演进的趋势：

当软件算法发展到一定体量，AI企业会向下整合硬件，以寻求最优的单位经济效益。

几点启示：

第一，随着大模型能力差距缩小，推理成本的快速下降将是未来趋势。能够提供高能效比和低TCO的硬件方案，具有更大优势；

第二，软硬协同是护城河。能否像OA这样，利用顶级模型反哺芯片设计与编译器优化，将决定芯片落地速度；

第三，上游卖水人的容错率与确定性依然很高，因为无论是谁都离不开底层代工与互连技术。

但不可否认的是，谷歌（TPU）、亚马逊（Inferentia）、初创企业，以及现在亲自下场的OpenAI，都在从成本、能效、特定场景等不同维度，向英伟达发起挑战。

$英伟达(NVDA)$ $美光科技(MU)$ $SK海力士(SKHY)$

@今日话题

雪球是一个投资者的社交网络，聪明的投资者都在这里。
点击下载雪球手机客户端 http://xueqiu.com/xz]]>