源自边际分布的树结构：使用因子化先验的自回归草稿生成

arXiv cs.LG 论文
speculative-decoding autoregressive-drafting factorized-priors tree-verification language-models efficiency cuda-kernels

摘要

本文介绍了Weaver，一种轻量级的自回归适配器，它从因子化草稿模型的前K个边际分布中构建提议树，相对于自回归解码实现了4.37倍的加速，并且比DFlash基线高出24.7%。

arXiv:2607.06763v1 公告类型：新 摘要：推测解码通过用计算换取在单次前向传播中生成额外的token，极大地提高了自回归语言模型的交互性。因子化草稿模型特别高效，因为它们并行预测未来token的边际分布，但其独立性假设导致随着推测预算的增加，接受率急剧下降。我们分析了这一局限性，并介绍了Weaver，一种轻量级的自回归适配器，它从因子化草稿模型的前K个边际分布中构建提议树。Weaver恢复了提议token之间的条件依赖性，同时避免了全词汇投影。为了支持具有Gated Delta Net层的模型的快速验证，我们推导出一种无回滚的树验证算法，并在SGLang中实现了优化的CUDA内核。通过结合这些模型和系统方面的贡献，我们实现了相对于自回归解码4.37倍的加速，并且比高度优化的DFlash基线高出24.7%。
查看原文
查看缓存全文

缓存时间: 2026/07/09 07:43 

# 来自边际分布的树：基于因子化先验的自回归草稿生成
来源：https://arxiv.org/abs/2607.06763
查看 PDF (https://arxiv.org/pdf/2607.06763)

> 摘要：推测解码通过以计算换效率，在一次前向传播中生成额外token，极大地提升了自回归语言模型的交互性。因子化草稿模型因能并行预测未来token的边际分布而尤为高效，但其独立性假设导致接受率随推测预算增长急剧下降。我们分析了这一局限性，并引入了Weaver——一种轻量级自回归适配器，它从因子化草稿模型的前K个边际分布中构建提议树。Weaver在恢复提议token间条件依赖关系的同时，避免了全词汇投影。为支持具有Gated Delta Net层的模型高效验证，我们推导了一种无回滚的树验证算法，并在SGLang中实现了优化的CUDA内核。通过结合模型与系统层面的贡献，我们实现了相比自回归解码4.37倍的加速，且优于高度优化的DFlash基线24.7%。

## 提交历史

来自：Roman Knyazhitskiy \[查看邮箱 (https://arxiv.org/show-email/ece9bcdf/2607.06763)\] **\[v1\]**2026年7月7日 星期二 19:48:36 UTC (956 KB)

相似文章

通过推测性草稿树加速扩散采样

arXiv cs.LG

本文介绍了推测性草稿树，通过丰富候选草稿和使用贪婪拒绝采样来加速扩散模型采样，实现了比基线方法高达8.3%的加速。