标签
一篇技术解析，介绍 vLLM 的分块预填充（chunked prefill）如何防止长 prompt 阻塞并发的解码请求，涵盖延迟权衡、混合批处理，以及 vLLM V1 中的 `--max-num-batched-tokens` 参数。
本文提出 Decode-Latency Feedback Prefill（DLFP），一种基于观测到的解码延迟来调整分块预填充（chunked prefill）大小的无模型比例控制器，并已在 vLLM 中实现。在 A100 上针对 Qwen3-0.6B，该方法将 P99 词间延迟降低了约 28%。论文同时指出，该方法在更大规模模型和多 GPU 部署场景下存在明显的泛化失效问题。
这篇笔记解释了在 nano-vllm-v1 中分块预填充（chunked prefill）和混合批处理（mixed batching）的实现，并与前一版本进行了性能基准测试。
一篇详细阐述LLM推理关键概念的推文：注意力机制、KV缓存、分块预填充以及批处理技术，包括vLLM和SGLang中使用的连续批处理。
CompactAttention引入块合并KV选择机制，加速长上下文LLM的分块预填充，在LLaMA-3.1-8B模型128K上下文下实现最高2.72倍注意力加速，同时保持与稠密注意力相近的精度。