标签
DLoop 提出一种循环式投机解码方法，在验证前自适应地进行多次起草阶段，通过循环感知训练保持草稿模型可靠性，在 EAGLE-3、DFlash 等方法上实现 5% 到 41% 的墙钟加速且保持无损解码。
验证感知训练（VAT）通过在训练中模拟顺序验证并自适应损失权重以匹配接受模式，改进投机解码的草稿模型，从而提升接受长度和推理加速。
LiquidAI发布了用于推测解码的草稿模型，以加速其LFM2.5模型，在H100和Apple硅芯片上实现高达2倍的推理加速，且不降低质量。
本文介绍了 DeepSeek V4 Flash 0731 在 Strix Halo 硬件上的基准测试结果，展示了不同草稿模型和 n_max 设置下的性能，得出结论 n_max=3 提供了最佳的速度平衡。
本文比较了三种策略以提高非英语语言的推测解码效率，发现任务特定蒸馏能提高接受率但泛化性差，而n-gram草稿模型尽管接受率较低，却能提供持续的加速。
Draft-OPD 引入在线策略蒸馏，结合目标辅助展开和错误重放，克服了训练用于推测解码的草稿模型时存在的离线到推理不匹配问题，实现了超过5倍的无损加速，相较于EAGLE-3和DFlash分别提升了23%和13%。
ConFu引入了一个新颖的推测解码框架，使草稿模型能够通过思考令牌和软提示预期未来的生成方向，在多个LLM模型上相比EAGLE-3实现了8-20%的令牌接受率和生成速度提升。