massive-activations

本文首次系统研究了混合线性注意力大语言模型中的大规模激活现象，揭示了由抵消时机控制的注意力前尖峰和尖峰间平台期，并展示了其形态如何在完全注意力极限下恢复。