copy-optimization

标签

#copy-optimization

复制还是不复制：通过内在模型信号控制推测解码

arXiv cs.CL ↗ · 2026-09-18 缓存

SwitchSD 是一种用于 LLM 推测解码的自适应框架，利用内在模型信号在神经草稿与基于上下文的复制之间动态切换，与 EAGLE3 等基线相比，吞吐量最高可提升 15%。

0 人收藏 0 人点赞