标签
ReCoLoRA 是一个频谱感知框架，用于大型语言模型的连续微调。它通过递归整合低秩适配器来防止灾难性遗忘，在多个骨干网络的连续 GLUE 任务上取得了更优的性能。
本文提出了一种使用OCEAN框架分析和控制语言模型人格的方法，训练低秩适配器来操控特质，并展示了加性组合及安全性影响。
本文介绍了OP-Mix，一种数据混合算法，它利用在当前模型上训练的低秩适配器来廉价模拟候选数据混合，从而在预训练、持续中间训练和持续指令微调中实现高效统一的数据混合。OP-Mix 始终能找出接近最优的混合方案，而计算量仅为基线方法的一小部分；在预训练中将平均困惑度提升了6.3%，在持续学习场景中减少了66-95%的计算量。
该论文提出了Slice，一种基于梯度手术的LoRA适配器初始化方法，用于持续学习，通过调和当前任务和过去任务的冲突梯度来减少灾难性遗忘，实现了更好的稳定性-可塑性权衡。