sequential-post-training

本文研究了大型语言模型在顺序后训练中的表征坍塌现象，表明重复的适应阶段会压缩内部表征，降低可塑性和域外泛化能力。作者提出了轻量级干预措施，在不牺牲行为增益的前提下保留未来的可学习性。