设计一个能够长期使用的 AI 推理服务平台

企业人工智能的下一项竞争优势，与其说取决于你选择哪种模型，不如说取决于你在模型周围构建了什么。

这是一个重要的转变。过去几年里，关于人工智能的讨论大多集中在模型能力上：更大的模型、更强的推理能力、更长的上下文窗口、更高的基准分数。

这些进步确实非同凡响。但随着人工智能从实验阶段迈向生产应用，企业领导者面临的问题已经发生变化——不再是“模型能做什么”，而是“我们能否以可靠、经济且规模化的方式交付这种智能？”

如今，答案越来越取决于服务框架——即围绕模型的工程系统，包括架构、内存管理、调度以及优化决策，这些共同决定了模型的智能如何高效地转化为生产级能力。

对于技术高管而言，这意味着人工智能投资的方向应当调整——他们也应重新审视对支撑架构的要求。

从工作负载出发，而非从模型入手

并不存在一种放之四海而皆准的“最佳”模型或人工智能架构。只有针对具体业务问题的正确解决方案。

一个面向客户的、以快速响应为优化目标的助手，与一个可夜间运行的文档处理流水线，其需求截然不同。一款内部知识应用和一个高吞吐量的客户服务平台，可能使用同一基础模型，却需要非常不同的服务架构。

工作负载决定了各项约束条件，而这些约束又应决定架构的设计。

这听起来很简单，但却与许多组织在早期人工智能部署中的做法背道而驰。在概念验证阶段，模型的准确性自然成为讨论的核心。然而，在生产环境中，当用户数量还很有限时容易被忽视的诸多约束——延迟、并发性、内存压力、GPU利用率、基础设施成本以及不可预测的流量——此时变得至关重要。

如果某个模型虽然能给出略好一些的答案，却使推理成本翻倍，或者无法满足应用的延迟要求，那么它未必是更好的生产选择。并非每项工作负载都需要一辆法拉利；有时，更为明智的工程决策是选用能够精准满足业务需求、而不为用不到的能力买单的模型。

我们的目标应当是以恰当的成本，为特定工作负载部署合适的智能。这就使得服务架构不再仅仅是工程技术问题，而成为一项投资决策：哪些环节该投入算力，哪些环节可以优化，以及在哪些方面额外的模型能力根本不值得付出代价。

要设计系统，而非单纯优化模型

一旦人工智能进入生产环境，看似孤立的工程决策便会相互影响。服务架构会影响内存使用；内存管理又会作用于并发性；并发性则决定批处理与调度方式，而调度又会左右GPU利用率与延迟。

唯有如此，量化、推测解码或优化的注意力机制等技术才能发挥其全部价值。这种相互依赖之所以重要，是因为组织即便大幅增加基础设施投入，也可能仍无法解决那些限制性能的瓶颈。

GPU显存就是一个很好的例子。在推理过程中，模型的权重保持不变，但键值（KV）缓存会随活跃请求和上下文长度的增长而扩容。随着并发数上升，即使计算资源仍有余量，系统也可能因可用GPU显存不足而受限。

若不先弄清这一瓶颈就盲目增加算力，只会让低效的系统变得更加昂贵。

对技术领导者而言，这一教训远不止于内存管理：优化之前务必先测量。找出主导性的约束，加以解决，再评估效果，然后判断是否出现了新的瓶颈，循环往复。

不要把优化技术当作宝可梦卡片：目标不是把它们全都收集齐，而是运用那些能消除影响最大的瓶颈、同时又不违背应用业务需求的技术。

对于技术领导者来说，这就引出了一个不同的治理命题：与其问组织能部署哪些AI能力，不如问哪些约束阻碍着已验证的能力转化为可持续的商业价值。

面向变化而建，而非只为当下基准

或许，投资服务框架最重要的原因在于：今天的领先模型很可能不再是明天的首选。模型会不断改进，硬件会持续演进，新的优化技术也会层出不穷。

围绕它们的架构应当让这些变化更容易被吸收，而不是迫使企业在每次技术进步时都重建其AI平台。

这也使得适应性日益成为AI战略中的一项关键产出。

那些根据工作负载需求、明确的服务水平目标以及可衡量的生产经济性来构建服务系统的组织，能够基于业务的实际需要评估新模型与新基础设施。

这样一来，更换模型就变成了一次评估与配置决策，而非一次架构重置。

EXL的研究人员已在《EXL 构建服务框架》系列中更深入地探讨了这些生产挑战。该系列分析了服务架构、内存管理、调度以及推理优化如何协同工作，从而提升企业级人工智能的效率、可扩展性和经济可持续性。

如今，越来越多的企业能够获得几乎相同的模型。真正的差异化优势在于，组织将这些智能转化为业务成果的效率高低。

模型提供智能，而服务框架则决定了企业能否以可靠、经济且规模化的方式交付预期成果。

本内容由EXL制作，并非由《麻省理工科技评论》编辑部撰写。