标签
本文提出 Decode-Latency Feedback Prefill（DLFP），一种基于观测到的解码延迟来调整分块预填充（chunked prefill）大小的无模型比例控制器，并已在 vLLM 中实现。在 A100 上针对 Qwen3-0.6B，该方法将 P99 词间延迟降低了约 28%。论文同时指出，该方法在更大规模模型和多 GPU 部署场景下存在明显的泛化失效问题。