d-Matrix采用NVLink Fusion实现机柜级XPU部署

AI推理芯片制造商d-Matrix今日宣布,将采用NVIDIA NVLink Fusion技术,将其下一代Raptor XPU与NVIDIA的AI基础设施平台相连接,从而加入日益壮大的生态系统合作伙伴行列。

通过将Raptor与NVIDIA的NVLink纵向扩展互连及Spectrum-X横向扩展网络、NVIDIA MGX机架架构以及更广泛的NVIDIA AI平台相连接,NVLink Fusion为d-Matrix提供了一条从定制芯片到大规模部署的加速且风险更低的路径。

d-Matrix联合创始人兼首席执行官Sid Sheth在昨日的新闻发布会上表示:“对推理的需求正在激增,但资本、时间和精力始终有限。借助NVLink Fusion和MGX,我们可以将Raptor XPU集成到广泛部署的液冷架构中,为客户带来一条更快、风险更低的路径,以部署并扩展超低延迟的推理能力。”

NVIDIA AI平台兼具垂直整合与水平开放的特点。NVLink Fusion将这种开放性延伸至XPU和CPU领域,使芯片企业能够专注于其处理器创新,同时利用NVIDIA的基础设施实现AI工厂级别的规模化部署。

从定制芯片到机架级部署

NVLink Fusion——快速参考

什么是NVIDIA NVLink Fusion?

NVIDIA用于将第三方定制XPU和CPU与NVLink纵向扩展互连、MGX机架架构以及涵盖计算、网络、存储、安全、供电、散热和软件的完整AI工厂平台相集成的方案。

它解决了什么问题?

打造一款定制XPU已然不易,而要实现其规模化部署则更为困难。NVLink Fusion让XPU厂商无需从零构建机架级基础设施,而是直接接入NVIDIA经过验证、全球部署的AI工厂平台。

它的速度如何?

XPU之间的延迟比市售以太网低3倍,数据包速率高10倍,并通过第六代NVLink实现每颗XPU高达3 TB/s的全互联带宽。

合作伙伴有哪些?

d-Matrix、AWS、Arm、Intel、富士通、SiFive、Alchip、Astera Labs、GUC、Marvell、联发科、三星、Cadence、Synopsys、Ayar Labs和Lightmatter。

它支持哪些CPU架构?

除NVIDIA GPU外,还兼容所有主流CPU架构——Arm、x86和RISC-V。

什么是半定制AI工厂?

半定制AI工厂将NVIDIA经过验证的基础设施与合作伙伴的定制XPU相结合。NVLink Fusion负责互连、机架架构、软件及供应链;合作伙伴则专注于差异化的芯片设计。

打造一款XPU只是第一步。要在AI工厂级别进行部署,还需要一个涵盖网络、机架架构、供电、散热、软件以及成熟供应链的完整平台。从芯片采购、高速接口集成、纵向扩展网络方案的验证,到机架架构的设计与认证,每一个环节都会增加时间、成本和风险。

NVLink Fusion让芯片创新者能够直接接入NVIDIA经过验证的平台。它是一种高带宽、低延迟的技术,可将定制XPU和CPU与NVIDIA的整套技术栈相连。

通过采用NVLink Fusion,d-Matrix得以利用NVIDIA MGX生态系统的成熟且经验证的机架设计方案、供应链以及供电与散热基础设施。通过统一采用通用机架,数据中心只需建设一次,即可同时支持GPU、CPU和XPU,而无需为每种处理器类型单独设计机架架构。

NVLink Fusion将d-Matrix XPU融入AI工厂

借助NVIDIA NVLink,d-Matrix计划将其XPU连接成一个单一的高带宽、低延迟的纵向扩展域。其机架还可与基于NVIDIA GPU的系统(如NVIDIA Vera Rubin NVL72)协同工作,实现解耦式推理。

d-Matrix还计划集成NVIDIA Vera CPU、NVIDIA ConnectX-9 SuperNIC、NVIDIA BlueField-4 DPU以及NVIDIA Spectrum-X以太网。结合NVLink和MGX,这些技术为d-Matrix提供了坚实的基座,使其能够在灵活统一的AI工厂内,与NVIDIA系统协同部署专用推理能力。

NVLink Fusion向专用XPU架构开放NVIDIA AI工厂

NVIDIA全栈AI工厂平台包括NVIDIA Vera Rubin NVL72、Groq 3 LPX、Vera CPU机架、Vera BlueField-4 STX存储以及Spectrum-6 SPX以太网。

该平台被设计为完全可互换,能够运行各类AI工作负载、模型及其架构,并实现最佳的能效比与最低的每token成本。

NVLink Fusion赋予客户在统一的AI工厂平台上为不同工作负载匹配合适算力的灵活性,同时开放NVIDIA的网络、系统、软件及全球供应链。

像d-Matrix这样的芯片创新者可通过NVLink Fusion提升性能、加快上市速度,并降低部署半定制AI工厂的风险。

参与讨论