draft-tree

标签

Cards List
#draft-tree

GRAFT:基于目标蒸馏边评分的自适应 DLM 草稿树构建

arXiv cs.CL · 2026-08-24 缓存

GRAFT 引入了一个用于基于扩散语言模型的推测解码的草稿树构建框架,通过优化边选择和预算分配,实现了相对于自回归解码 2.13 倍至 6.36 倍的加速,同时开销很低。

0 人收藏 0 人点赞
#draft-tree

减少草稿,增加检索:用于推测解码的混合树构建

Hugging Face Daily Papers · 2026-05-19 缓存

Graft 是一个无需训练的框架,通过结合剪枝与检索来增强推测解码,从而提高接受率和推理速度。在短上下文基准测试中,其加速比最高可达5.41倍,在Qwen3-235B上相比EAGLE-3的提升最高可达21.8%。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈