@DailyDoseOfDS_:生产环境中 LLM 推理的 6 种并行策略:(热门 LLM 面试题)在四个……上运行一个模型
摘要
介绍了在生产环境中运行大语言模型的六种并行策略——数据并行、张量并行、流水线并行、上下文并行、专家并行和混合并行——重点说明各自的权衡,并指导如何根据内存、首 token 延迟(TTFT)和每 token 生成耗时(TPOT)等实测瓶颈进行选择。
查看缓存全文
缓存时间: 2026/11/19 15:47
生产环境中 LLM 推理的 6 种并行策略:
(热门 LLM 面试题)
让一个模型在四块 GPU 上运行,并不会把它们的显存合并成一个共享池。
每块 GPU 都有独立的显存,因此,存储在另一块 GPU 上的数据必须经过互连传输,某一层才能使用它。
这就是并行化背后的核心权衡:它消除了单卡显存或算力的限制,却增加了通信开销。
下图介绍了 LLM 推理并行化的六种常见策略:
-
数据并行在不同的 GPU 组上运行完整的模型副本。它能提高吞吐量,但无法让过大的模型装入显存。
-
张量并行拆分每个 Transformer 层内部的矩阵运算。它减少了每块 GPU 上的权重显存占用,但在整个层堆栈中,GPU 都必须不断合并部分计算结果。
-
流水线并行将不同的层组分配给不同的 GPU。激活值在各阶段之间传递,而微批次不足会使部分阶段处于空闲状态。
-
上下文并行通过两种方式拆分序列位置。预填充上下文并行将长输入分配到多块 GPU 上,旨在降低首 token 延迟(TTFT)。解码上下文并行拆分已存储的 KV 历史,以增加缓存容量,但每个解码器层都必须合并部分注意力计算结果。
-
专家并行将 MoE 专家分布到多块 GPU 上。Token 路由和不均衡的专家负载会增加网络开销和空闲时间。
-
混合并行在同一次部署中组合多种策略。例如,在节点内使用张量并行,在节点间使用流水线并行,在模型副本之间使用数据并行。这样可以让每种通信模式匹配可用的链路,但也会增加协调路径。
生产部署通常会组合多种方法,但每种方法都应解决一个通过测量确认的瓶颈。
- 如果显存装不下权重,就使用张量并行或流水线并行。
- 如果瓶颈在于长提示词的预填充或 KV 缓存容量,就使用相应形式的上下文并行。
- MoE 模型可能需要通过专家并行来放置专家权重。
- 如果一个副本已达到延迟目标,但请求仍在排队,就增加数据并行副本。
让张量并行使用最快的链路。每次调整后,都要重新测量显存占用、TTFT、每个输出 token 的耗时(TPOT)以及其他指标。
只有当测量结果揭示出另一个瓶颈时,才添加另一种方法。
我们撰写了一篇详细文章,解释每种策略的工作原理、通信发生的位置,以及如何为实际部署选择布局。
文章引述如下。
相似文章
@_avichawla: https://x.com/_avichawla/status/2107427400779026843
一篇深入解析大模型推理并行策略的文章——涵盖数据并行、张量并行、流水线并行、上下文并行以及专家并行,讲解如何将推理任务拆分到多张 GPU 上,同时避免通信开销拖累性能。文章梳理了预填充(prefill)与解码(decode)两个阶段的区别、内存与通信瓶颈,并说明如何结合模型、硬件和工作负载约束,选定一种有说服力的并行布局。
您的LLM推理基准测试在误导您
本文解释了为何LLM推理的合成基准测试可能具有误导性,因为生产流量具有突发性和可变性,并建议使用真实工作负载进行测试以选择正确的推理框架。
深入vLLM:高吞吐量LLM推理系统剖析(2025)
深入探讨vLLM用于高吞吐量LLM推理的架构与组件,涵盖调度、分页注意力、连续批处理、高级特性、扩展、服务及基准测试。
在与20多个在生产环境中运行LLM的团队交流后,三个痛点反复出现
基于与20多个团队的对话,作者指出了在生产中使用LLM时反复出现的三个痛点:仅企业版提供的基础功能、缺乏代理可观测性、以及新模型支持缓慢。
大语言模型与本地AI硬件的推理引擎(2026版)
本文提供了一份全面的指南,针对2026年本地AI硬件上的大语言模型推理引擎,解释了如何根据硬件策略、工作负载和服务模型进行选择,并涵盖了诸如llama.cpp、MLX、ExLlamaV2/3、vLLM、SGLang、TensorRT-LLM和NVIDIA Dynamo等引擎。