model-plasticity

本文研究了在大型语言模型的先SFT后RL流程中，过度监督微调（SFT）后模型可塑性的丧失问题，并提出了一种名为Rejuvenation的方法，该方法通过基于基线的模型融合和定向神经元重置来恢复可塑性，从而持续提升RL性能。