attention-guided

本文提出了SAGE，一种利用注意力派生熵自适应替代梯度以提高脉冲Transformer训练准确性的方法，并在CIFAR-10/100数据集上进行了验证。

提出了三种注意力引导的大语言模型对比解码层选择策略，在TruthfulQA上相比DoLa基线提高了事实准确性。