super-weights

本文解释了大语言模型中的超级权重源于SoftMax与注意力机制的相互作用，该作用创建了一个充当稳定参考点的‘Nothing Dump’标记；移除这些权重会严重损害模型性能。