基于分解引导的扩散草稿推测解码训练与推理方法

Hugging Face Daily Papers 论文
speculative-decoding diffusion-models llm-inference inference-acceleration training-strategy throughput-optimization

摘要

DScout 将扩散草稿器的训练与推理分解为前缀接受度和延迟权衡两个维度，从而提升推测解码的吞吐量，在 Qwen3-4B 和 Qwen3-8B 上分别实现了 3.84 倍和 4.14 倍的平均加速。

推测解码（Speculative decoding）通过并行验证草稿器提出的 token 来加速大语言模型的推理。扩散草稿器进一步将候选提议的生成过程并行化，但更强的提议能力或更高的平均接受 token 数（MAT）并不必然带来更高的吞吐量。由于验证过程只会接受一个连续前缀，早期的拒绝会使后续正确的预测失效，从而限制 MAT 的提升；同时，即使 MAT 进一步提高，如果每轮延迟增加，吞吐量也可能无法改善。我们提出 DScout，利用两个互补的分解来引导扩散草稿器的训练和推理，从而获得更高的吞吐量。在训练方面，DScout 将逐位置损失分解为包含损失、加权损失和预测损失三部分。这一分解指导了混合视野训练、块内去掩码以及接受度加权损失的设计与组合，使监督信号与前缀接受对齐，从而提升 MAT。在推理方面，DScout 将吞吐量分解为 MAT 与每轮延迟的比值，以此指导目标条件深度、草稿器深度和推理块大小的选择，为每种工作负载找到高吞吐量的配置。在六个基准测试上，DScout 在 Qwen3-4B 和 Qwen3-8B 上分别实现了相对自回归解码 3.84 倍和 4.14 倍的平均加速，较最先进的基线方法平均加速分别提升 9.1% 和 7.1%。在不同模型和并发设置下，我们的推理配置策略相比 DScout 的固定配置可额外提供最高 9.75% 的平均加速。
查看原文
查看缓存全文

缓存时间: 2026/10/20 07:35

论文页面 - Factorization-Guided Training and Inference for Diffusion-Drafted Speculative Decoding

来源: https://huggingface.co/papers/2610.23935

摘要

DScout 通过对齐扩散草稿器的训练与推理过程，使其与前缀接受率和延迟权衡相匹配，从而提升投机解码的吞吐量。

投机解码 (https://huggingface.co/papers?q=Speculative%20decoding) 通过并行验证草稿器提议的 token 来加速大语言模型的推理。扩散草稿器 (https://huggingface.co/papers?q=Diffusion%20drafters) 进一步并行化提议的生成过程，但更强的提议能力或更高的平均接受 token 数 (https://huggingface.co/papers?q=mean%20accepted%20tokens)（MAT）并不一定带来更高的吞吐量。因为验证只接受连续的前缀，早期的拒绝会使后续正确的预测失效，从而限制了 MAT 的增益；同时，即使 MAT 更高，如果每轮延迟增加，吞吐量也不一定提升。我们提出 DScout (https://huggingface.co/papers?q=DScout)，使用两种互补的分解方法来指导扩散草稿器的训练和推理，以实现更高的吞吐量。在训练方面，DScout (https://huggingface.co/papers?q=DScout) 将逐位置损失分解为包含损失、加权损失和预测损失。这指导了混合视野训练 (https://huggingface.co/papers?q=mixed-horizon%20training)、块内去掩码 (https://huggingface.co/papers?q=intra-block%20unmasking) 和接受加权损失 (https://huggingface.co/papers?q=acceptance-weighted%20loss) 的设计与组合，使监督信号与前缀接受对齐，从而提升 MAT。在推理方面，DScout (https://huggingface.co/papers?q=DScout) 将吞吐量分解为 MAT 与每轮延迟的比值，指导目标条件深度 (https://huggingface.co/papers?q=target-conditioning%20depth)、草稿器深度和推理块大小 (https://huggingface.co/papers?q=inference%20block%20size) 的选择，为每个工作负载找到高吞吐量的配置。在六个基准测试上，DScout (https://huggingface.co/papers?q=DScout) 在 Qwen3-4B 和 Qwen3-8B 上分别实现了相较于自回归解码 3.84 倍和 4.14 倍的平均加速，相比最先进基线的平均加速分别提升了 9.1% 和 7.1%。在不同模型和并发设置下，我们的推理配置策略相比 DScout (https://huggingface.co/papers?q=DScout) 的固定配置最高可额外提供 9.75% 的平均加速。

查看 arXiv 页面 (https://arxiv.org/abs/2610.23935) 查看 PDF (https://arxiv.org/pdf/2610.23935) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.23935)

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.23935 以从此页面链接。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.23935 以从此页面链接。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.23935 以从此页面链接。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。

相似文章

DEdit：用于投机解码的迭代草稿编辑

arXiv cs.CL

DEdit 提出了一种基于扩散的草稿生成器，用于投机解码，通过 token 到 token 的预测迭代式地编辑草稿，并采用 ProposalMix 训练方案在修复错误的同时保留正确的 token。在七个基准测试上，该方法在 Qwen3-4B 和 Qwen3-8B 上分别实现了 5.72× 和 5.97× 的宏平均加速。

z-lab/Qwen3.6-35B-A3B-DFlash

Hugging Face Models Trending

z-lab 发布 DFlash，一种基于轻量级块扩散模型的投机解码草稿器，可并行生成 15–16 个 token，为 Qwen3.6-35B-A3B 推理带来最高 2.9× 加速。

什么是投机解码？（70分钟阅读）

TLDR AI

一篇70分钟阅读量的深度技术长文，从第一性原理推导投机解码（speculative decoding），构建涵盖EAGLE-3、多token预测（MTP）以及块扩散drafters（DFlash、DSpark）的统一框架，并讨论drafter训练中最小化KL散度的问题。