标签
该论文提出了 Packed-SS，一种自投机解码调度方案。该方案让扩散起草器在验证当前草稿时，提前一次调用构建下一份草稿，从而在单次模型调用中完成验证与起草。其输入规模随投机宽度线性增长，并在 Nemotron 3B/8B 和 SetDLM 1.7B 上实现了更高的吞吐量。
提出DCOCO（DFlash上下文校正器），一种轻量级机制，在保持并行草稿生成的同时恢复块内上下文依赖，在四个验证器骨干和十个基准上实现最高达6.6倍的推理加速，并在并发服务场景下显著优于现有方法。
TokenRouter 是一个面向 token 级 LLM 路由的高效推理服务系统，采用「请求中心编程、模型中心执行」架构与延迟批调度策略，实现较现有系统 2.01–64.15 倍的解码吞吐提升。
DScout 将扩散草稿器的训练与推理分解为前缀接受度和延迟权衡两个维度，从而提升推测解码的吞吐量，在 Qwen3-4B 和 Qwen3-8B 上分别实现了 3.84 倍和 4.14 倍的平均加速。
DynaResize是一个运行时GPU重新分配系统，在基于强化学习的LLM后训练过程中，动态地在Rollout和Training阶段之间切换GPU，相比静态配置，吞吐量提升66.5%，执行时间减少33%。
DeepSeek发布了DSpark，一种投机解码方法，可将V4 Flash和Pro的吞吐量提升51%至400%，同时还开源了DeepSpec代码库，用于训练和评估草稿模型。
Ray Serve LLM 通过直接流式传输、新的 vLLM V2 执行器后端和 HAProxy 入口，在预填充和解码密集型工作负载上实现了4.4倍和24.8倍的吞吐量提升，现已在 Ray 2.56 中推出，与 Google Cloud 和 vLLM 合作。
ServiceNow 推出 SuperApriel-15B-Instruct：仅 15B 参数的单一 checkpoint，内置 8 组 mixer 预设，可在 1× 到 10.7× 解码吞吐之间切换，在 32K 上下文下仍保持高达 96% 的质量。