标签
AugServe 提出了一种状态感知的请求调度框架，具有动态批处理级别的 token 预算，以缓解队头阻塞并提高增强型 LLM 推理服务的有效吞吐量，相比 vLLM 实现了高达 6.5 倍的吞吐量提升。