标签
AugServe 提出了一种状态感知的请求调度框架，具有动态批处理级别的 token 预算，以缓解队头阻塞并提高增强型 LLM 推理服务的有效吞吐量，相比 vLLM 实现了高达 6.5 倍的吞吐量提升。
Charlie Marsh 报告称，Codex 改进了请求调度，使 uv 中未缓存的复杂解析（例如 Transformers）速度提升超过 40%。