inference-systems

FluidPD 为前缀-解码分离式 LLM 服务引入了 SLO 感知的原位弹性能力：在瞬时不均衡时利用 FluidToken 卸载前缀阶段的工作负载，在持续性负载变化时通过 FluidRole 在前缀与解码阶段之间重新分配 worker。在 Azure 生产环境的调用轨迹上，该方法将 SLO 达成率相比静态 SGLang 方案最多提升了 94.6 个百分点。

GLM开发了自己的推理基础设施，以支持AI系统中的递归自我提升。

本文利用真实硬件测量，表征了掩码扩散语言模型（dLLMs）的服务行为，识别了与自回归模型的关键区别，并推导出高效推理系统的设计原则。

本文研究了轨迹驱动评估如何误导对MoE专家缓存的评估，识别出重放语义、工作负载污染和运行区间三个混淆轴，它们可能颠倒策略排名。在纠正这些问题后，研究表明，离线最优差距在很大程度上高估了轻量级因果缓存机制实际恢复的收益。