@_avichawla:LLM 调度循环,清晰讲解:(收藏这篇)每当用户向 LLM 发送一个 prompt,生成的推……
摘要
一篇讲解 LLM 服务调度循环的教学文章,解释推理请求如何经过等待队列、批量构建、prefill、decode 和 continuous batching,使 GPU 在不同请求先后完成时仍保持满载运行。
查看缓存全文
缓存时间: 2026/10/01 16:28
LLM 调度循环,讲清楚
(收藏这篇)
每当用户向 LLM 发送一个 prompt 时,由此产生的推理请求并不会直接从 API 端点到达 GPU。
相反,它会先进入服务引擎,由其中的调度器决定这些 token 将在何时、以何种方式被处理。
下面是完整的生命周期:
1) 请求进入等待队列
每个请求到来时都带着一个 prompt、一组采样参数,以及一个最大输出长度。
prompt 的长度各不相同,而且调度器无法预知最终的生成长度。因此,它以「一次迭代」为单位来管理请求。
2) 调度器构建下一个 batch
在每一个模型步之前,调度器会检查两个主要约束:
- 这一次迭代能处理多少个 token
- 还剩多少 KV-cache 空间
随后,它应用一套调度策略——通常会优先运行中的 decode 请求,然后再接纳新的工作。
3) 新请求进入 prefill(预填充)
在 prefill 阶段,模型会处理 prompt 中的 token,并生成注意力机制所需的 K 和 V 张量。
这一阶段可以并行处理大量 prompt token。较长的 prompt 可能会被切分成多个 chunk,以免长时间阻塞正在进行的生成。
4) 运行中的请求进入 decode(解码)
prefill 完成后,请求会转入 decode 阶段。
此时模型利用为所有已生成 token 构建的 KV cache,生成下一个 token。标准的自回归解码通常会在每个模型步中,为每个活跃请求新增一个 token。
5) GPU 执行所选的工作
现代服务引擎可以把 prefill 和 decode 的工作放在同一个 GPU batch 中处理。
例如,请求 A 可能正在处理它的 prompt,而请求 B 和 C 正在生成各自的下一个 token。
因此,这个 batch 并不是一个固定不变、一直运行到所有请求完成的集合。它的组成会在每个模型步之后发生变化。
6) 引擎更新请求状态
执行完成后,生成的 token 会被采样,并追加到各自的请求中。
已经完成的请求会释放它的 KV-cache 块,并从 batch 中退出。尚未完成的请求则保留其状态,成为下一次调度迭代的候选。
这样,调度器就可以利用释放出来的 token 预算和缓存空间,接纳另一个正在等待的请求。
在下方的示意图中,C 在第 1 次迭代后结束,因此 D 在第 2 次迭代时进入。到了第 3 次迭代,活跃 batch 中只剩下 A 和 D。
这种按迭代进行的替换,就是连续批处理(continuous batching)。它让 GPU 保持工作状态,同时让 prompt 和输出长度各不相同的请求彼此独立地推进。
如果你想深入了解,我写过一篇详细的文章,完整介绍了 LLM 推理流水线,涵盖 tokenization(分词)、prefill、decode、KV 缓存,以及每个阶段所影响的延迟指标。
请阅读下文。
相似文章
@_avichawla: LLM推理中的预填充与解码。你是否注意到,LLM的第一个令牌总是需要片刻才出现…
解释LLM推理的两个阶段——预填充和解码,详细说明GPU瓶颈如何从预填充时的计算受限转变为解码时的内存受限,以及KV缓存的重要性。
@pallavishekhar_: LLM中的连续批处理 阅读:https://outcomeschool.com/blog/continuous-batching-in-llms…
一篇介绍连续批处理的博客文章,该技术通过动态地将新请求添加到已完成请求的批次中,持续保持GPU忙碌并减少空闲时间,从而提高LLM服务吞吐量。
@_avichawla:这是 LLM 推理最奇怪的特性:你的 LLM 的输出取决于并非由你发起的请求。同样的提示词……
一篇技术解析,解释了为什么 LLM 在收到完全相同的请求时仍可能产生不同的输出:GPU 上浮点数的累加顺序会随批大小而变化,导致得分并列的候选词元的选择发生翻转,即使温度设为 0,生成结果也可能出现分歧。文章重点介绍了 vLLM、SGLang 和 DeepSeek 的 DeepInfer 中用于确保批次不变性的标志选项,并指出,为获得可复现的输出,需要在吞吐量上作出权衡。
@akshay_pachaar: vLLM 如何避免一个长 prompt 拖慢其他请求:(分块预填充,讲得明明白白)每个 LLM 请求都有两个阶…
一篇技术解析,介绍 vLLM 的分块预填充(chunked prefill)如何防止长 prompt 阻塞并发的解码请求,涵盖延迟权衡、混合批处理,以及 vLLM V1 中的 `--max-num-batched-tokens` 参数。
深入vLLM:高吞吐量LLM推理系统剖析(2025)
深入探讨vLLM用于高吞吐量LLM推理的架构与组件,涵盖调度、分页注意力、连续批处理、高级特性、扩展、服务及基准测试。