@_avichawla:LLM 调度循环,清晰讲解:(收藏这篇)每当用户向 LLM 发送一个 prompt,生成的推……

X AI KOLs Timeline 新闻

摘要

一篇讲解 LLM 服务调度循环的教学文章,解释推理请求如何经过等待队列、批量构建、prefill、decode 和 continuous batching,使 GPU 在不同请求先后完成时仍保持满载运行。

LLM 调度循环,清晰讲解: (收藏这篇) 每当用户向 LLM 发送一个 prompt,生成的推理请求并不会直接从 API 端点进入 GPU。 相反,它首先进入服务引擎(serving engine),由调度器决定它的 token 将在何时、以何种方式被处理。 下面是完整的生命周期: 1) 请求进入等待队列 每个请求都带有 prompt、采样设置和最大输出长度。 各请求的 prompt 长度不同,调度器也无法提前知道最终的生成长度。因此,它以迭代(iteration)为单位来管理请求。 2) 调度器构建下一个批次(batch) 在每个模型步骤之前,调度器会检查两个主要约束: - 这一次迭代能处理多少个 token - KV-cache 还剩多少空间 随后它会应用一套调度策略,通常是优先让正在运行的 decode 请求继续执行,再接纳新的任务。 3) 新请求进入 prefill 阶段 在 prefill 阶段,模型处理 prompt 的 token,并生成注意力机制所需的 K 和 V 张量。 这一阶段可以并行处理大量的 prompt token。较长的 prompt 可能会被切分成多个 chunk,以免长时间阻塞正在进行的生成任务。 4) 运行中的请求进入 decode 阶段 prefill 结束后,请求进入 decode 阶段。 模型此时基于为之前所有 token 构建的 KV cache 来生成下一个 token。标准的自回归解码通常在每个模型步骤中为每个活跃请求新增一个 token。 5) GPU 执行选中的工作 现代服务引擎可以把 prefill 和 decode 的工作放在同一个 GPU batch 中执行。 例如,请求 A 可能在处理它的 prompt,同时请求 B 和 C 在生成各自的下一个 token。 因此,这个 batch 并不是运行到所有请求都完成为止的固定组合。它的构成可以在每个模型步骤之后发生变化。 6) 引擎更新请求状态 执行完成后,生成的 token 会被采样并追加到各自的请求中。 完成的请求会释放它的 KV-cache 块并离开 batch;未完成的请求保留其状态,成为下一次调度迭代的候选对象。 调度器随后可以利用释放出的 token 额度和缓存空间,接纳另一个处于等待队列中的请求。 在下面的示意图中,C 在第 1 次迭代后完成,因此 D 在第 2 次迭代时进入。到第 3 次迭代时,活跃的 batch 中只剩下 A 和 D。 这种迭代级别的替换就是 continuous batching(连续批处理)。它让 GPU 保持工作状态,同时让 prompt 长度和输出长度各不相同的请求独立推进。 如果你想深入了解,我写过一篇详细文章,涵盖了完整的 LLM 推理流水线,包括 tokenization、prefill、decode、KV 缓存,以及每个阶段所对应的延迟指标。 请在下方阅读。
查看原文
查看缓存全文

缓存时间: 2026/10/01 16:28

LLM 调度循环,讲清楚

(收藏这篇)

每当用户向 LLM 发送一个 prompt 时,由此产生的推理请求并不会直接从 API 端点到达 GPU。

相反,它会先进入服务引擎,由其中的调度器决定这些 token 将在何时、以何种方式被处理。

下面是完整的生命周期:

1) 请求进入等待队列

每个请求到来时都带着一个 prompt、一组采样参数,以及一个最大输出长度。

prompt 的长度各不相同,而且调度器无法预知最终的生成长度。因此,它以「一次迭代」为单位来管理请求。

2) 调度器构建下一个 batch

在每一个模型步之前,调度器会检查两个主要约束:

  • 这一次迭代能处理多少个 token
  • 还剩多少 KV-cache 空间

随后,它应用一套调度策略——通常会优先运行中的 decode 请求,然后再接纳新的工作。

3) 新请求进入 prefill(预填充)

在 prefill 阶段,模型会处理 prompt 中的 token,并生成注意力机制所需的 K 和 V 张量。

这一阶段可以并行处理大量 prompt token。较长的 prompt 可能会被切分成多个 chunk,以免长时间阻塞正在进行的生成。

4) 运行中的请求进入 decode(解码)

prefill 完成后,请求会转入 decode 阶段。

此时模型利用为所有已生成 token 构建的 KV cache,生成下一个 token。标准的自回归解码通常会在每个模型步中,为每个活跃请求新增一个 token。

5) GPU 执行所选的工作

现代服务引擎可以把 prefill 和 decode 的工作放在同一个 GPU batch 中处理。

例如,请求 A 可能正在处理它的 prompt,而请求 B 和 C 正在生成各自的下一个 token。

因此,这个 batch 并不是一个固定不变、一直运行到所有请求完成的集合。它的组成会在每个模型步之后发生变化。

6) 引擎更新请求状态

执行完成后,生成的 token 会被采样,并追加到各自的请求中。

已经完成的请求会释放它的 KV-cache 块,并从 batch 中退出。尚未完成的请求则保留其状态,成为下一次调度迭代的候选。

这样,调度器就可以利用释放出来的 token 预算和缓存空间,接纳另一个正在等待的请求。

在下方的示意图中,C 在第 1 次迭代后结束,因此 D 在第 2 次迭代时进入。到了第 3 次迭代,活跃 batch 中只剩下 A 和 D。

这种按迭代进行的替换,就是连续批处理(continuous batching)。它让 GPU 保持工作状态,同时让 prompt 和输出长度各不相同的请求彼此独立地推进。

如果你想深入了解,我写过一篇详细的文章,完整介绍了 LLM 推理流水线,涵盖 tokenization(分词)、prefill、decode、KV 缓存,以及每个阶段所影响的延迟指标。

请阅读下文。

相似文章

@_avichawla:这是 LLM 推理最奇怪的特性:你的 LLM 的输出取决于并非由你发起的请求。同样的提示词……

X AI KOLs Timeline

一篇技术解析,解释了为什么 LLM 在收到完全相同的请求时仍可能产生不同的输出:GPU 上浮点数的累加顺序会随批大小而变化,导致得分并列的候选词元的选择发生翻转,即使温度设为 0,生成结果也可能出现分歧。文章重点介绍了 vLLM、SGLang 和 DeepSeek 的 DeepInfer 中用于确保批次不变性的标志选项,并指出,为获得可复现的输出,需要在吞吐量上作出权衡。