标签
FluidPD 为前缀-解码分离式 LLM 服务引入了 SLO 感知的原位弹性能力：在瞬时不均衡时利用 FluidToken 卸载前缀阶段的工作负载，在持续性负载变化时通过 FluidRole 在前缀与解码阶段之间重新分配 worker。在 Azure 生产环境的调用轨迹上，该方法将 SLO 达成率相比静态 SGLang 方案最多提升了 94.6 个百分点。
本文综合了高效分布式LLM服务的研究，将vLLM和llm-d连接为互补层，并提出一个推理执行规划器以用于未来调度器的开发。
ELDR是一种专家局部性感知的解码路由器，用于预填充-解码分离的混合专家（MoE）服务。它通过预填充签名预测专家激活，并路由请求以最小化延迟。该路由器已在vLLM中实现，在多达40个GPU上实现了中位数TPOT降低5.9%至13.9%。
加州大学圣地亚哥分校Hao AI实验室的博客清晰解释了DistServe的Prefill Decode分离技术，追溯了该技术从2024年到2025年的被接受过程，并关联了NVIDIA Dynamo、llm-d、Ray Serve LLM、LMCache和MoonCake等相关技术，是学习LLM推理的绝佳起点。
这篇来自Anyscale的博客文章解释了LLM服务中Prefill-Decode（PD）分离的直觉，展示了如何将预填充和解码阶段分配到专用GPU上，在使用Ray和vLLM的AMD MI325X上实现高达2.7倍的有效吞吐量提升和67%的成本节省，同时也讨论了PD分离何时没有帮助。
本文介绍了ZCube，一种由Z.ai、Harnets.AI和清华大学提出的新型网络架构，用于解决Prefill-Decode分离式LLM推理集群中由拓扑引起的拥塞问题。在GLM-5.1编码工作负载的生产部署中，网络CapEx降低了33%，吞吐量提升了15%，TTFT P99延迟降低了40.6%。