标签
AugServe 提出了一种状态感知的请求调度框架，具有动态批处理级别的 token 预算，以缓解队头阻塞并提高增强型 LLM 推理服务的有效吞吐量，相比 vLLM 实现了高达 6.5 倍的吞吐量提升。
本文提出了一种面向自动语音识别(ASR)服务的持续时间感知调度方法，该方法利用音频时长作为任务时间的代理，以减少工作负载漂移下的队头阻塞延迟。