标签
FluidPD 为前缀-解码分离式 LLM 服务引入了 SLO 感知的原位弹性能力：在瞬时不均衡时利用 FluidToken 卸载前缀阶段的工作负载，在持续性负载变化时通过 FluidRole 在前缀与解码阶段之间重新分配 worker。在 Azure 生产环境的调用轨迹上，该方法将 SLO 达成率相比静态 SGLang 方案最多提升了 94.6 个百分点。