标签
本文研究了大型语言模型中的短期注意力衰减，发现了一种普遍的指数衰减后趋于平稳的模式，并且功能标记锚定依赖于架构。因果测试表明，增加功能标记上的注意力权重并不会改善检索性能，这表明注意力衰减是描述性的而非规范性的。