tree-topology

标签

Cards List
#tree-topology

EntMTP:利用熵引导的多令牌预测加速大语言模型推理

arXiv cs.CL · 2026-06-29 缓存

提出EntMTP,一种无需训练的调度器,基于局部熵估计自适应调整树形注意力拓扑以进行投机解码,相较于Hydra实现1.09-1.15倍加速,相较于Medusa最高达1.36倍加速。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈