gradient-surgery

本文引入了领域泛化数据集蒸馏（DGDD），这是一个新的问题设定，旨在实现蒸馏数据集的分布外泛化，并提出了频谱梯度手术（SGS），通过利用频谱域中的跨域梯度一致性来解耦类判别信息和领域特定信息。

该论文提出了Slice，一种基于梯度手术的LoRA适配器初始化方法，用于持续学习，通过调和当前任务和过去任务的冲突梯度来减少灾难性遗忘，实现了更好的稳定性-可塑性权衡。