设计经久耐用的 AI 服务框架

<p class="wp-block-paragraph">企业 AI 的下一项竞争优势，与其说取决于你选择哪种模型，不如说取决于你围绕模型构建了什么。</p> <p class="wp-block-paragraph">这是一个重要的转变。过去几年，围绕 AI 的讨论大多聚焦于模型能力：更大的模型、更强的推理能力、更长的上下文窗口、更高的基准测试得分。这些进步非同寻常。但随着 AI 从实验走向生产，企业领导者面临的问题也发生了变化——不再是“模型能做什么？”，而是“我们能否以可靠、经济的方式，大规模地交付这种智能？”</p> <figure class="wp-block-image size-large"><img fetchpriority="high" decoding="async" height="1315" width="3000" src="https://wp.technologyreview.com/wp-content/uploads/2026/10/GettyImages-2188328005_9f1d59-e1791493652782.jpg?w=840" alt="" class="wp-image-1146166" /></figure> <p class="wp-block-paragraph">答案越来越取决于推理服务支撑系统——即围绕模型构建的工程系统，包括架构、<a href="https://www.exlservice.com/insights/white-paper/engineering-memory-reliable-enterprise-ai-agents?utm_source=technologyreview&amp;utm_medium=native&amp;utm_content=sponsored_content_hosting&amp;utm_campaign=2026_q4_go_beyond">内存管理</a>、调度和优化决策，它们决定了模型智能转化为生产能力的效率。</p> <p class="wp-block-paragraph">对于技术高管而言，这改变了 AI 投资的方向，也改变了他们对支撑架构应提出的要求。</p> <h3 class="wp-block-heading"><strong>从工作负载出发，而非模型</strong></h3> <p class="wp-block-paragraph">没有普遍意义上“最佳”的模型或 AI 架构，只有适合业务问题的解决方案。</p> <p class="wp-block-paragraph">以快速响应为优化目标的客户助手，与可以在夜间运行的文档处理流水线，其需求有着根本差异。内部知识应用和高流量客户服务平台可能使用同一个基础模型，但需要截然不同的推理服务架构。</p> <p class="wp-block-paragraph">工作负载决定约束条件。约束条件应当决定架构。</p> <p class="wp-block-paragraph">这听起来很简单，却与许多组织早期部署 AI 的方式背道而驰。在概念验证阶段，模型准确性自然会主导讨论。进入生产环境后，一些在用户寥寥无几时很容易被忽视的约束就会显现：延迟、并发、内存压力、GPU 利用率、基础设施成本，以及不可预测的流量。</p> <p class="wp-block-paragraph">如果一个模型虽然能给出略好的答案，却使推理成本翻倍，或无法满足应用的延迟要求，那么它未必是更好的生产选择。并非所有工作负载都需要一辆法拉利。有时，更明智的工程决策是选择恰好能满足业务性能需求的模型，避免为业务不需要的能力付费。</p> <p class="wp-block-paragraph">目标应当是根据工作负载，以合适的成本部署合适的智能。这使推理服务架构不再只是工程问题，也成为一项投资决策：在哪里投入算力，在哪里进行优化，以及在哪些情况下，额外的模型能力根本不值得付出相应成本。</p> <h3 class="wp-block-heading"><strong>着眼于系统工程，而非模型本身</strong></h3> <p class="wp-block-paragraph">一旦 AI 进入生产环境，看似孤立的工程决策就会开始相互影响。推理服务架构影响内存利用率，内存管理影响并发，并发决定批处理和调度的方式，而调度又影响 GPU 利用率和延迟。</p> <p class="wp-block-paragraph">只有理顺这些关系，量化、推测解码或优化后的注意力机制等技术才能充分发挥价值。这种相互依赖关系至关重要，因为组织即使大幅增加基础设施支出，也可能依然没有解决限制性能的约束。</p> <p class="wp-block-paragraph">GPU 显存就是一个很好的例子。在推理过程中，模型权重保持不变，但键值（KV）缓存会随着活跃请求数量和上下文长度的增加而增长。随着并发增加，即使仍有可用算力，系统也可能耗尽可用的 GPU 显存。在不了解这一瓶颈的情况下增加算力，可能只会让一个低效的系统变得更加昂贵。</p> <p class="wp-block-paragraph">对技术领导者而言，这一经验的意义超出了内存管理本身：先测量，再优化<strong>。</strong>找出主要约束，解决它，测量结果，然后判断是否出现了另一个瓶颈。如此反复。</p> <p class="wp-block-paragraph">不要把优化技术当作宝可梦卡牌：目标不是集齐所有技术，而是应用能够消除影响最大之约束的技术，同时满足应用的业务要求。</p> <p class="wp-block-paragraph">对于技术领导者而言，这要求他们在治理层面提出不同的问题。与其问组织可以部署哪些 AI 能力，不如问：在已经验证的能力与可持续的业务价值之间，究竟存在哪些约束？</p> <h3 class="wp-block-heading"><strong>为变化而构建，而非迎合今天的基准测试</strong></h3> <p class="wp-block-paragraph">投资推理服务支撑系统最重要的原因，或许在于今天领先的模型很可能不会在明天继续领先。模型会改进，硬件会演进，新的优化技术会出现。围绕它们构建的架构，应当让企业更容易适应这些变化，而不是迫使企业在每次技术进步时都重建 AI 平台。</p> <p class="wp-block-paragraph">因此，适应能力正成为 AI 战略中日益重要的一项成果。</p> <p class="wp-block-paragraph">围绕工作负载需求、明确的服务级别目标，以及可衡量的生产环境成本效益来构建推理服务系统的组织，能够根据业务的实际需求评估新模型和基础设施。更换模型可以成为评估和配置层面的决策，而无需重新设计架构。</p> <p class="wp-block-paragraph">EXL 研究人员在 <a href="https://www.exlservice.com/insights/white-paper/exl-engineering-field-guide-engineering-the-harness-series?utm_source=technologyreview&amp;utm_medium=native&amp;utm_content=sponsored_content_hosting&amp;utm_campaign=2026_q4_go_beyond">EXL 推理服务支撑系统工程</a>系列中，更深入地探讨了这些生产环境中的挑战。该系列研究了推理服务架构、内存管理、调度和推理优化如何协同工作，使企业 AI 更高效、更易于扩展，并在经济上更具可持续性。</p> <p class="wp-block-paragraph">企业能够获取的模型正日益趋同。可持续的差异化优势，来自组织将这些智能转化为业务成果的效率。</p> <p class="wp-block-paragraph">模型提供智能。支撑系统则决定企业能否以可靠、经济的方式，大规模地交付成果。</p> <p class="wp-block-paragraph"><em>本内容由 EXL 制作，并非由《麻省理工科技评论》编辑团队撰写。</em></p>