early-exits

本文介绍了一种针对大语言模型的自监督早期退出方法，允许在置信度较高时在中间层提前停止计算，从而降低推理成本。此外，还提出了动态自推测解码（DSSD），相比现有基线实现了更高的令牌接受率。