标签
提出渐进式树形草稿（PTD），一种免训练、模型无关的推测解码方法，利用渐进式树结构和逐步剪枝实现多个草稿路径的并行生成，在各种基准测试上实现高达2倍的加速。
JetSpec是一个推测解码框架，结合高效的前向草稿与因果条件化，提升LLM推理速度与接受率，在MATH-500上实现最高9.64倍加速，在对话工作负载上实现4.58倍加速。
Domino是一个推测解码框架，它将因果依赖建模与自回归草稿生成解耦，采用并行主干和轻量级因果精炼头，在Qwen3模型上实现了高达5.49倍的端到端加速。
本文介绍了D-PACE，一种用于训练推测解码草稿模型的动态位置感知交叉熵损失，该损失函数自适应地加权位置以提升接受长度和推理速度，在各基准测试中实现一致的加速比，且开销极低。
本文介绍了 PARD-2，这是一种双模态投机解码框架，利用目标对齐的并行草稿模型加速大语言模型（LLM）推理，在 Llama 3.1-8B 上实现了最高 6.94 倍的无损加速。