AI 基础设施峰会第二天：现场观察与要点

今天是Dustin Sklavos的特约文章，他曾任AnandTech高级编辑、Corsair产品经理，Tenstorrent技术撰稿人。Dustin拥有近二十年的写作和行业工作经验，管理过超过1亿美元的硬件线收入，并且经常在表面营销面前发挥坚强的助力。

在寻找行业中有趣且新的挑战时，我很高兴他本周在AI基础设施峰会上为More Than Moore撰稿。

第二天，我们花时间在展会现场寻找一些有趣且创新的硬件设计，以及一些趋势。

服务器散热

我对冷却解决方案非常痴迷。我在海盗（预装高端消费级小型PC产品线）并花时间管理他们的液冷。同样在AI硬件初创公司工作滕斯托伦特我参与开发了第一代TT-QuietBox，这是他们的消费级双PCIe卡系统解决方案。

甚至我的家庭系统也有（多余的）定制水冷回路。我作为记者的最后一篇文章是关于我第一次搭建回路的经历。

数据中心的液冷变得至关重要——随着硬件机架超过企业市场的12-25千瓦，尤其是多千瓦ASIC的研发，水冷系统一直存在。光子技术方面更是如此，因为领先ASIC厂商会先吸收水冷。

展会上有两个水砖摊位，各自有自己的酱料。

马利奇我用的是相当传统的铜制水冷头，但他们用全铜制热管把环路缝合在一起。这里有权衡：可用性显然更难，因为你现在要处理整个组件，而且你会失去传统管道的渗透性，但这可以提升热性能。

可用性和性能之间的权衡将成为数据中心解决方案管理者未来十年必须争取的（只是别问太空数据中心）。

语音教学（未入镜）是一家公司，开发了基于传感器的热电冷却（TEC）解决方案，能够有效“锁定”HBM堆栈的工作温度。这里的工作原理是，当HBM的热容忍度和温度范围必须设计成更传统的空气和液冷解决方案时，可能会导致不必要的冷却浪费电力。

Phononics能够利用一系列传感器在毫秒级内调整TEC板的性能，保持内存上的恒定稳定工作温度。这很有趣，但根据我的经验，TEC可能会带来自身的缺点（讽刺的是功耗是个大问题），这使它在消费领域传统上难以接受。

不过，它们在某些工业和嵌入式安装中仍然相当受欢迎。数据中心？也许只有规模化时我才会相信。

我还拜访了合金企业最近被强生控制收购，他们的冷板技术有其独特特色。他们使用激光切割、粘结的铜或铝层（从不混合，其中之一）来制造冷板。

这些模块实际上针对其设计的处理器热点进行了优化，提升了整体冷却性能。他们的竞争对手Corintis（未参加AI基础设施峰会）采用类似的原则，优化芯片热点的冷却路径和设计，但采用类似3D打印铜的生产工艺。

我看到的最后几张也是最让人皱眉的。熔融动力学（未见照片）是一家非常早期的初创公司，声称在冷却回路内使用液态金属代替标准的乙二醇水冷却剂。

我用的是镓合金（可能是铟/锡的混合物），这种金属比回路中任何水基或油基液体导电性更好。解决方案不是用物理泵，而是使用没有活动部件的洛伦兹力磁泵来移动冷却液——这意味着电流通过金属，同时外部施加磁场，迫使金属通过管道。

一个大缺点是金属合金的热容量不到水的10%，意味着它无法吸收那么多热能，可能需要更快的泵速。另外，镓泄漏的风险远高于普通冷却液泄漏。

不过Molten Dynamics至少是一个针对TDP远高于千瓦的冷却处理器的新型解决方案。

边缘人工智能设备

苹果Mac Mini和Mac Studios上的AI模型运行，至少展示了在家庭网络本地运行这些模型的细分市场。这个市场现在已被x86和Arm解决方案（如AMD Strix Halo和Nvidia DGX Spark）所攻占。

如果你眨眼，价格可能会上涨。但在边缘和嵌入式领域，将AI模型本地化在设备中而非云端的前提依然是优先考虑。我们看到了一些这样的解决方案。

英诺磁盘展示了多种本地运行AI的系统，包括一款针对高热容忍环境的工业解决方案。Innodisk的硬件采用了自己的网络解决方案，允许用户桥接它们，但实际的AI计算却是令人愉快的中立。

Innodisk提供多种处理器产品，重点在于软件层以提升易用性。

在对面，是小小特别值得关注。体积小巧便于携带，功耗还不够低，无法仅靠主机 USB-C 端口运行，但仍是一个不错的起点。30瓦功率，配备80GB本地内存（32GB分配给主机SoC，48GB用于独立AI处理器），支持运行参数超过100B的模型。

Tiiny在产品上做得特别好的地方在于用户体验。他们的软件界面简洁友好，能在Windows和macOS上运行。内置了类似App Store的组件，允许按需下载模型，并在软件中运行模型。

我看到的使用简便令人震惊，其他有意开发代理AI设备的公司应该注意到他们在这方面的成就。希望我们能找到一个供独立评测。话虽如此，我们在展位上采访的人说，未来一年的销售已经售罄，现在转向面向大型企业客户，而非消费市场。

关于RISC-V的简短介绍

根据不同人，RISC-V似乎仍在努力突破数据中心AI领域。乍一看，该标准在AI基础设施峰会上的表现令人失望。根据不同人，市场规模庞大且潜力巨大（尤其是随着Arm持续升级对自家客户的敌对行动），或者这项技术永远无法实现。

展厅的一个角落里有几张桌子，供像这样的公司使用SiFive以及阿凯纳;史诗半决赛有一个正式展位，展示了一个从头到尾采用RISC-V的服务器解决方案：主机CPU基于RISC-V核心，AI处理器基于RISC-V核心。

值得一提的是，RISC-V技术是方式在展会上比AI基础设施峰会地板角落还要普遍。各种形状和尺寸的RISC-V核心被集成到各种解决方案中。

请记住滕斯托伦特在其AI架构和CPU产品中都使用RISC-V核心，斧头他们用RISC-V核心来控制AI卡的数据流。甚至Xcena的MX1 CXL模块旨在扩展内存和闪存容量，使用超过一千个RISC-V核心智能移动和缓存数据。

关于那个CXL

面对AI对存储和内存几乎无穷的渴求，CXL在AI基础设施峰会上依然活跃且表现强劲。马维尔展示了使用 CXL（Structera 系列）的扩展解决方案，Xcena 展示了他们的 MX1 模块和交换机。

Xcena 今年早些时候在 Hot Chips 上展示了他们的 MX1 架构。事实证明，随着硬件的再利用，扩展内存或可组合系统正在重新流行起来。

感谢阅读《More Than Moore》！这篇文章是公开的，欢迎大家分享。

结论

我从AI Infra峰会展会现场获得的最大收获之一，可能是不同现有技术确实如此。人工智能仍然是一个非常开放的领域，正如戴夫·帕特森教授在主题演讲中提到的，支持人工智能所需的处理器架构必须不断演进。

这包括周围的每一个基础设施环节。

实时看到这一切演变，令人震惊，看到公司积极开发新解决方案以满足这头永无止境的“猛兽”，推动更快的计算、更快更可靠的互联、更高的密度和更快的内存和存储解决方案，使其更适合家庭使用，优化电力、可维护性和安全性，诸如此类。

我无法想象明年这个时候我会有什么看法。

More Than Moore 与其他研究和分析公司一样，为行业内许多高科技公司提供或曾提供有偿的研究、分析、咨询或咨询服务，可能包括在 More Than Moore 通讯、TechTechPotato YouTube 频道及相关社交媒体上投放广告。该品牌下的公司包括AMD、AlphaSights、Applied Materials、Arm、Armari、Arteris、ASM、Ayar Labs、百度、Bolt Graphics、Cadence、Credo、d-Matrix、Dialectica、Facebook、GigaIO、GIM、GLG、Guidepoint、IBM、Impala、英飞凌、英特尔、Kuehne+Nagel、Lattice Semi、Linode、Marvell、联发科、NeuReality、NextSilicon、NordPass、NVIDIA、ProteanTecs、高通、Rebellions、SiFive、SIG、SiTime、Supermicro、Synopsys、Tensordyne、Tenstorrent、Third Bridge、台积电、Tsavorite、Untether AI、Ventana Micro。