attention-metrics

本文批判了Transformer中标准的注意力度量方法，揭示了选择保留或丢弃汇入令牌可能会反转结论，并提出了使用组合数据分析来分离汇入和内容注意力组件，以实现更准确的解释。