AI时代的内存与存储架构

人工智能推理时代已经到来。试想一下，医疗体系能够实时分析数以百万计的数据点，从而加速挽救生命的医学研究；又或者，智能助手可以瞬间同时解决成千上万项复杂的客户需求。

这些现实中的突破性进展，离不开作为持续智能引擎的先进基础设施——它既为实时服务提供动力，又支撑着日益智能化的物联网与消费终端边缘计算。

然而，在这样一个由推理驱动的生态中，任何延迟、瓶颈或能源浪费都会直接关系到人类福祉与运营成本。

这一转变重塑了对基础设施的要求。性能、时延、内存带宽、存储吞吐与网络能力，已不能再被孤立地优化。推理负载具有持续性、地理分布广且对响应时间极为敏感，这就要求系统从设计之初就具备规模扩展、高可用与高效运行的能力。

“我们往往把AI视为单一的工作负载，但事实并非如此。它是成千上万、乃至数十亿种不同的工作负载，”Tirias Research创始人兼首席分析师吉姆·麦格雷戈表示。

AI推理让优化问题从单纯的算力竞争，转向内存、存储与网络等基础设施的协同优化。

对于企业领导者而言，优先事项十分明确：AI基础设施的决策必须在成本、灵活性与未来适应性之间取得平衡。那些能够在单位能耗下提升性能、降低环境足迹，并在瓶颈制约增长之前消除内存与存储瓶颈的企业，将成为真正的赢家。

AI推理需要全新的架构范式

面向AI的系统亟需重新构架，因为将现代AI系统硬塞进传统基础设施，会严重限制其变革潜能。只有量身定制的专用架构，才能释放AI的真正价值，无论是加速科学发现，还是打造真正自主的数字代理。

传统企业IT一直可以依赖相对稳定的基础设施假设，但推理与具身智能引入了关于时延、数据流动、可扩展性与资源利用率的新需求，使得架构选择的影响更为深远。

“如今，数据中心必须支持持续、分布式且愈发实时的AI服务——而这些绝非单一的工作负载，”麦格雷戈指出，“从系统层面看，它们各自有着迥异的需求。”

为了支撑实时AI，企业不能再把内存与存储仅仅视为辅助硬件，而应将其置于系统的核心位置。组织需要构建一条能够快速摄取、清洗、转换、存储、迁移并交付数据的数据管道。

推理负载对基础设施施加的持续压力，与以往以训练为主的部署截然不同，它要求不间断的数据检索与缓存，而这正是传统应用所不曾面临的挑战。

因此，单纯追求性能已不再足以衡量优劣。企业必须在性能之外，兼顾效率、成本与 scalability，尤其是在尝试支撑多种AI服务的同时，避免为峰值场景过度建设基础设施。

“你必须围绕计划运行的工作负载类型，对整个系统进行优化，包括内存与存储，”麦格雷戈说，“你必须对这些负载的具体构成有非常清晰的认识。”

任何AI基础设施战略都应始于对工作负载的充分认知。推理、具身智能以及其他新兴的AI应用场景，都要求组织将数据中心视为一个有机的整体系统。

数据流动成为新的瓶颈，也是构筑竞争优势的机会

随着企业部署先进的推理与具身智能系统，实时查询的数据规模之巨，使数据流动成为最为紧迫的制约因素。诸如检索增强生成（RAG）之类的现代AI技术，要求系统不断扫描海量数据库以生成精准响应，这不仅需要强大的算力，更关键的是对数据的即时访问能力。

麦格雷戈认为，关注焦点正转向如何在整体架构中高效地移动、缓存并交付数据，这使得内存与存储从后台基础设施跃升为战略性资产。

“我们现在最重要的事，就是把数据从一处搬到另一处，并确保能够有效利用它们。”

由于AI并非单一类型的工作负载，单纯购置最快的处理器并不够。推理高度依赖内存带宽、缓存机制、存储的就近性，以及快速、稳定地获取相关信息的能力。

厘清每项资源在系统层级中的定位，以及各层在实际运行条件下的交互方式，已成为企业的当务之急。

最有效的AI基础设施与其说是顶级部件的简单堆砌，不如说是一套计算、内存、存储与网络均衡协同的系统，麦格雷戈指出，因为瓶颈往往会从一层传导至另一层。

“要实现高效，就必须把四者统筹规划，而这恰恰是最大的挑战。”

数据平面设计与网络带宽之间的相互依存关系，意味着AI基础设施规划既是工程命题，更是商业决策：时延已与价值密不可分。在机器人、金融服务、医疗健康以及面向客户的AI系统中，哪怕一丝一毫的延迟都不再只是技术瑕疵，而是可能危及安全、削弱响应速度或破坏信任。

AI基础设施的性能表现，已然关乎声誉管理。

从AI中获益最多的，或许并非拥有最大算力集群的企业，而是那些最清楚如何将各项基础设施要素协调一致、以高效执行AI负载的组织。

构建AI基础设施采购框架

规划AI基础设施绝不仅仅是挑选最快的硬件，更在于如何在不固化过时假设的前提下实现弹性扩展。“你必须保持灵活，因为需求变化迅速，技术也在快速迭代，”麦格雷戈说。

为AI基础设施做好未来准备，需要在工作负载、经济形势与架构形态持续演进的过程中始终敞开选项：

• 明确正在优化的AI工作负载。基础设施选型应匹配业务需求，而非麦格雷戈所称的“泛化的‘AI就绪’”，后者可能导致某些领域投入过剩，而另一些领域的瓶颈却始终悬而未决。
• 构建模块化架构，涵盖计算、内存、存储、供电与散热，以便根据需求变化动态调整容量，而不至于过早锁定僵化的架构方案。
• 携手完整的生态系统，与供应商和集成商紧密协作，降低供应链风险，提升对合适组件的获取能力。麦格雷戈指出，采购方已不能指望仅靠原始设备制造商或云服务商就能抵御供应约束与架构复杂性。
• 持续评估并迭代采购策略。AI需求、硬件与商业模式的变化之快，远超固定长期规划所能适应。
• 以效率与投资回报为核心，而非一味追求峰值性能。再强大的配置也可能因难以持续而变得不经济。效率同样是一项面向公众的指标——更高的资源利用率与更具负载感知的系统设计，有助于企业应对日益严格的能耗与用水监管。

更智能的数据中心设计所追求的战略目标，并非不惜代价的极致性能，而是能够传递价值、从容应对变化、并使自身规模与投入合理化的弹性架构。

AI基础设施已是企业战略

AI数据中心已迅速从一项后端技术议题，演变为决定组织能否将AI转化为营收、改善民生并建立竞争优势的战略级业务系统。

在推理时代，内存与存储不再是被动的“仓库”，麦格雷戈解释道，它们已成为AI运转的主动命脉。从AI中获益最多的，未必是那些拥有最大算力规模的企业，而是那些将基础设施投入与业务成果挂钩、着力消除数据瓶颈、并为随负载演变而灵活调整做好准备的企业。

他预测，竞争优势将越来越多地属于那些把计算、内存、存储与网络视为一个整体系统，旨在高效、规模化地交付AI价值，并带来可观的投资回报的企业。

麦格雷戈总结道，采购已成为战略，而系统设计则上升为领导力议题。“每个高管都必须回答的一个关键问题是：AI将如何改变我的商业模式？”

本内容由《麻省理工科技评论》旗下定制内容部门Insights制作，而非其编辑团队。内容由人工调研与撰写完成，所使用的任何AI工具均仅限于生产环节，并置于人类监督之下。