[硬件] 对着超微的实拍,把 Vera Rubin NVL72 机柜的正面和背面认了一遍

超微 9 月 23 日说 Vera Rubin NVL72 机柜开始出货,同时放了正面和背面的实拍。以前看到的多是渲染图,这次是真机。我对着照片把里面的东西认了一遍,写下来大家一起看,有认错的请指正。

Vera Rubin NVL72 正面和背面

(图源:Supermicro 官方实拍,左边正面,右边背面)

正面,从上往下

  1. 最上面一台管理交换机。蓝色的线看走向,应该是从它拉到各个托盘的管理网线
  2. 一组电源架
  3. 10 个计算托盘,每个 1U ,里面是 4 颗 Rubin GPU 加 2 颗 Vera CPU
  4. 中间浅色的一段,是 9 个 NVLink 交换托盘,把 72 颗 GPU 连成一体
  5. 再往下 8 个计算托盘,和上面合起来 18 个
  6. 最下面又一组电源架

背面

  1. 供电线缆从顶部进来
  2. 中间一整片是 NVLink 铜缆背板。计算托盘和交换托盘靠它互连,所以正面看不到 GPU 之间的线
  3. 两侧立柱上下走着一排橙黑色的线缆。具体是什么线,超微没说,我不乱猜
  4. 最下面两个大接头是冷却液接口,接机房的冷却回路

一个机柜的数字

  • 72 颗 Rubin GPU ,36 颗 Vera CPU
  • HBM4 合计 20.7TB ,另有最多 54TB 的 LPDDR5X
  • 整柜全液冷。机房一侧配行间 CDU ,单台 1.8MW
  • 16 个机柜算一个扩展单元:1,152 颗 GPU ,331TB HBM4
  • 超微说首批从圣何塞工厂发往 SpaceXAI

几点感受

  1. 现场能换的单位是托盘和电源模块。 GPU 、CPU 、内存都在托盘里,坏了应该是整个托盘抽出来换,不是在现场换某一颗芯片。
  2. 这柜子对机房的要求比对人的要求高。 没有液冷回路和够用的供电,柜子到了也开不了机。
  3. 线少了很多。 GPU 之间的互连全收进了背板,正面只剩管理网线,比用 8 卡机一台台堆出来的集群干净得多。

部件名称是我对照公开规格认的,以厂商资料为准。数字来自超微的新闻稿和 StorageReview 的报道。

有人在机房里见过实物吗?背面两侧那些线到底是什么,想听懂的人说说。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论