@DailyDoseOfDS_:生产环境中 LLM 推理的 6 种并行策略:(热门 LLM 面试题)在四个……上运行一个模型

X AI KOLs Timeline 新闻

摘要

介绍了在生产环境中运行大语言模型的六种并行策略——数据并行、张量并行、流水线并行、上下文并行、专家并行和混合并行——重点说明各自的权衡,并指导如何根据内存、首 token 延迟(TTFT)和每 token 生成耗时(TPOT)等实测瓶颈进行选择。

生产环境中 LLM 推理的 6 种并行策略: (热门 LLM 面试题) 在四块 GPU 上运行模型,并不会将它们的显存合并成一个共享池。 每块 GPU 都有自己的显存,因此,存储在另一块 GPU 上的数据必须先通过互连链路传输,某一层才能使用它。 这就是并行化背后的核心权衡:它突破了单卡显存或计算能力的限制,却增加了通信开销。 下图解释了 LLM 推理并行化的六种常见策略: - 数据并行在不同的 GPU 组上运行完整的模型副本。它能提高吞吐量,但无法让过大的模型装入显存。 - 张量并行拆分每个 Transformer 层内部的矩阵运算。它减少了每块 GPU 上的权重显存占用,但 GPU 必须在整个层堆栈中不断合并部分计算结果。 - 流水线并行将不同的层组分配给不同的 GPU。激活值在各阶段之间传递,而微批次数量不足会导致部分阶段空闲。 - 上下文并行以两种方式拆分序列位置。预填充上下文并行将长输入分配到多块 GPU 上,以降低首 token 延迟(TTFT)。解码上下文并行拆分已存储的 KV 历史,以增加缓存容量,但每个解码器层都必须合并部分注意力计算结果。 - 专家并行将 MoE 专家分布到多块 GPU 上。Token 路由和不均衡的专家负载会增加网络开销和空闲时间。 - 混合并行在同一部署中结合多种策略。例如,在节点内使用张量并行,在节点间使用流水线并行,在模型副本之间使用数据并行。这能让各类通信模式与可用链路相匹配,但也增加了协调路径。 生产部署通常会组合使用多种方法,但每种方法都应解决一个通过测量确认的瓶颈。 - 如果显存容纳不下权重,就使用张量并行或流水线并行。 - 如果瓶颈是长提示词的预填充或 KV 缓存容量,就使用相应形式的上下文并行。 - MoE 模型可能需要专家并行来存放专家权重。 - 如果单个副本已达到延迟目标,但请求仍在排队,就增加数据并行副本。 将张量并行安排在速度最快的链路上。每次更改后,都要重新测量显存占用、TTFT、每个输出 token 的耗时(TPOT)以及其他指标。 只有当测量结果揭示出另一个瓶颈时,才添加另一种方法。 我们撰写了一篇详细文章,解释每种策略的工作原理、通信发生的位置,以及如何为实际部署选择布局。 下文引用了这篇文章。
查看原文
查看缓存全文

缓存时间: 2026/11/19 15:47

生产环境中 LLM 推理的 6 种并行策略:

(热门 LLM 面试题)

让一个模型在四块 GPU 上运行,并不会把它们的显存合并成一个共享池。

每块 GPU 都有独立的显存,因此,存储在另一块 GPU 上的数据必须经过互连传输,某一层才能使用它。

这就是并行化背后的核心权衡:它消除了单卡显存或算力的限制,却增加了通信开销。

下图介绍了 LLM 推理并行化的六种常见策略:

  • 数据并行在不同的 GPU 组上运行完整的模型副本。它能提高吞吐量,但无法让过大的模型装入显存。

  • 张量并行拆分每个 Transformer 层内部的矩阵运算。它减少了每块 GPU 上的权重显存占用,但在整个层堆栈中,GPU 都必须不断合并部分计算结果。

  • 流水线并行将不同的层组分配给不同的 GPU。激活值在各阶段之间传递,而微批次不足会使部分阶段处于空闲状态。

  • 上下文并行通过两种方式拆分序列位置。预填充上下文并行将长输入分配到多块 GPU 上,旨在降低首 token 延迟(TTFT)。解码上下文并行拆分已存储的 KV 历史,以增加缓存容量,但每个解码器层都必须合并部分注意力计算结果。

  • 专家并行将 MoE 专家分布到多块 GPU 上。Token 路由和不均衡的专家负载会增加网络开销和空闲时间。

  • 混合并行在同一次部署中组合多种策略。例如,在节点内使用张量并行,在节点间使用流水线并行,在模型副本之间使用数据并行。这样可以让每种通信模式匹配可用的链路,但也会增加协调路径。

生产部署通常会组合多种方法,但每种方法都应解决一个通过测量确认的瓶颈。

  • 如果显存装不下权重,就使用张量并行或流水线并行。
  • 如果瓶颈在于长提示词的预填充或 KV 缓存容量,就使用相应形式的上下文并行。
  • MoE 模型可能需要通过专家并行来放置专家权重。
  • 如果一个副本已达到延迟目标,但请求仍在排队,就增加数据并行副本。

让张量并行使用最快的链路。每次调整后,都要重新测量显存占用、TTFT、每个输出 token 的耗时(TPOT)以及其他指标。

只有当测量结果揭示出另一个瓶颈时,才添加另一种方法。

我们撰写了一篇详细文章,解释每种策略的工作原理、通信发生的位置,以及如何为实际部署选择布局。

文章引述如下。

相似文章

@_avichawla: https://x.com/_avichawla/status/2107427400779026843

X AI KOLs Timeline

一篇深入解析大模型推理并行策略的文章——涵盖数据并行、张量并行、流水线并行、上下文并行以及专家并行,讲解如何将推理任务拆分到多张 GPU 上,同时避免通信开销拖累性能。文章梳理了预填充(prefill)与解码(decode)两个阶段的区别、内存与通信瓶颈,并说明如何结合模型、硬件和工作负载约束,选定一种有说服力的并行布局。

您的LLM推理基准测试在误导您

Reddit r/artificial

本文解释了为何LLM推理的合成基准测试可能具有误导性,因为生产流量具有突发性和可变性,并建议使用真实工作负载进行测试以选择正确的推理框架。

大语言模型与本地AI硬件的推理引擎(2026版)

X AI KOLs

本文提供了一份全面的指南,针对2026年本地AI硬件上的大语言模型推理引擎,解释了如何根据硬件策略、工作负载和服务模型进行选择,并涵盖了诸如llama.cpp、MLX、ExLlamaV2/3、vLLM、SGLang、TensorRT-LLM和NVIDIA Dynamo等引擎。