block-drafter

本文提出AUF（接受直到失败），这是一种针对推测解码中掩码块草稿模型的交叉熵损失的简单修改，它将监督限制到第一个预测失败之前的词缀，在不改变推理的情况下提升了多个基准测试的平均生成长度。