标签
本文提出了一种尾部风险感知的调度方法，用于代理LLM工作流，通过优化回合发布决策减少尾部延迟，在争用条件下实现P95工作流流时间最高3.50倍的加速。
探讨如何利用洛伦兹曲线量化每个延迟百分位数对平均延迟的贡献，并通过Little定律将其与并发性联系起来，证明尾部延迟通常主导成本和容量。
这篇博文解释了系统延迟和恢复时间测量中的检查悖论，说明了为什么客户经历的平均等待时间比服务指标显示的要长。文中包含一个交互式模拟，并强调了理解分布尾部的重要性。
本文提出了一种面向LLM推理的分布感知、无预测调度框架，利用轻量级统计信号以软优先级提升替代显式长度预测。该方法联合优化调度与缓存感知的抢占，以降低尾部延迟，相比具备完美长度知识的SRPT，P99 TTLT最多降低35-50%。