autoregressive-drafting

本文介绍了Weaver，一种轻量级的自回归适配器，它从因子化草稿模型的前K个边际分布中构建提议树，相对于自回归解码实现了4.37倍的加速，并且比DFlash基线高出24.7%。