标签
Dustin提出了一种用于推测解码的稀疏验证框架，利用草稿模型信号和稀疏注意力头评分克服KV缓存验证瓶颈，在长上下文任务中自注意力加速达27.85倍，端到端解码加速达9.17倍，且精度损失可忽略不计。