标签
AugServe 提出了一种状态感知的请求调度框架，具有动态批处理级别的 token 预算，以缓解队头阻塞并提高增强型 LLM 推理服务的有效吞吐量，相比 vLLM 实现了高达 6.5 倍的吞吐量提升。
本研究论文提出了一种用于在生成采样中强制执行硬约束的自适应校正调度方法，证明与末端或逐步投影方法相比，该方法能够改善成本-精度边界。