标签
提出拓扑正则化侧路径（TRSP）以缓解LLM中的表示坍缩，通过平衡混合效率与信息容量之间的频谱权衡，在长上下文基准上取得显著提升。
本文证明，注意力沉没、表示坍塌和范数分层并非注意力机制所独有，而是基于内容的路由在盲范数相似性度量下的普遍结果，这一结论在包括Transformer、graph attention、state-space models和recurrent mixers在内的多种架构中得到了验证。
本文研究了大型语言模型在顺序后训练中的表征坍塌现象，表明重复的适应阶段会压缩内部表征，降低可塑性和域外泛化能力。作者提出了轻量级干预措施，在不牺牲行为增益的前提下保留未来的可学习性。