通过梯度手术的持续学习低秩适配器初始化

# 基于梯度手术的低秩适配器初始化用于持续学习
来源：https://arxiv.org/html/2605.12752
Joana Pasquali同等贡献MALTA，机器学习理论与应用实验室，PUCRS，阿雷格里港，巴西Ramiro N\. Barros同等贡献MALTA，机器学习理论与应用实验室，PUCRS，阿雷格里港，巴西Arthur S\. BianchessiVinícius Conte TuraniMALTA，机器学习理论与应用实验室，PUCRS，阿雷格里港，巴西João Vitor Boer AbitanteMALTA，机器学习理论与应用实验室，PUCRS，阿雷格里港，巴西Rafaela Cappelari RavazioMALTA，机器学习理论与应用实验室，PUCRS，阿雷格里港，巴西Christian MattjieMALTA，机器学习理论与应用实验室，PUCRS，阿雷格里港，巴西Otávio ParragaMALTA，机器学习理论与应用实验室，PUCRS，阿雷格里港，巴西Lucas S\. KupssinsküMALTA，机器学习理论与应用实验室，PUCRS，阿雷格里港，巴西Rodrigo C\. BarrosMALTA，机器学习理论与应用实验室，PUCRS，阿雷格里港，巴西Kunumi Institute，巴西

###### 摘要

LoRA 因其参数效率、跨任务的模块化以及与重放策略的兼容性，被广泛用于大型语言模型的持续微调。然而，基于 LoRA 的持续学习仍然容易受到灾难性遗忘的影响，其严重程度取决于相继任务梯度的交互方式：当连续任务梯度冲突时，标准适配器初始化会将更新引导至覆盖先前学习方向的子空间。我们提出了 SLICE，一种基于梯度手术的 LoRA 适配器初始化方法，用于持续学习。SLICE 从当前任务和先前任务的重放缓冲区中累积梯度，通过投影算子协调它们，并通过截断奇异值分解将结果分解以初始化适配器权重。我们在 TRACE 基准测试和 Super-NI 任务序列上评估了 SLICE，包括我们通过挖掘具有最大相反梯度的任务对构建的一组对抗性 Super-NI 序列。与 vanilla LoRA、LoRA-GA 和 LoRAM 相比，SLICE 在标准和对抗性持续学习序列上一致地实现了更好的稳定性-可塑性权衡，提高了平均性能、最终性能和遗忘指标，同时保持了一般性能和上下文性能。

## 1 引言

大型语言模型（LLMs）越来越多地部署在需要顺序适应非平稳任务分布的场景中：新领域、不断演变的指令和变化的用户需求随时间出现，而每个阶段从头开始重新训练的成本高得令人望而却步。持续学习（CL）为此类场景提供了自然框架[shi2025continualsurvey]，但其核心病理——灾难性遗忘[kirkpatrick2017overcoming]，即对新任务的优化会降低先前学习任务的性能——仍然是一个基本障碍。

低秩适配（LoRA）[hu2022lora]是主要的参数高效微调范式，它为CL提供了若干优势：其低参数数量限制了破坏性干扰的自由度，其模块化支持特定任务的适配器存储和组合，其与重放和正则化策略的兼容性使其适用于CL[liang2024inflora, liu2024learningattentionalmixtureloras, wang2023olora, xiong2026oplora]。

在CL中，当新任务的梯度与先前学习任务的梯度冲突时——即当它们的弗罗贝尼乌斯内积为负时——任何提高当前任务性能的