AWARe：通过激活加权自适应保留缓解灾难性遗忘

# AWARe：通过激活加权自适应保留缓解灾难性遗忘
来源：https://arxiv.org/html/2608.11758

Jinfan Lv（复旦大学智能机器人与先进制造学院，中国上海）  
Guoming Wang（浙江大学软件技术学院，中国杭州；共同一作）  
通讯作者：[[email protected]](mailto:[email protected])  
Jupeng Zheng（中山大学人工智能学院，中国广州）  
Ling Xiao（北海道大学信息科学研究生院，日本札幌）  
Siliang Tang（浙江大学软件技术学院，中国杭州）

###### 摘要

多模态大语言模型（MLLMs）由于大规模多模态预训练而展现出强大的泛化和推理能力。然而，在下游任务上微调这些模型通常会导致灾难性遗忘，即新学习的任务特定知识会削弱先前获得的能力。这个问题源于新任务的梯度更新会覆盖对先前知识至关重要的参数，从而限制了 MLLMs 的实际部署。为了应对这一挑战，我们提出了激活加权自适应保留（Activation-Weighted Adaptive REtention, AWARe），这是一种基于激活模式动态控制参数更新的微调方法，可缓解灾难性遗忘。AWARe 为参数分配基于激活的重要性分数，选择性地冻结对保留先前能力至关重要的参数，同时允许不太重要的参数适应新任务。重要的是，AWARe 无需修改模型架构，确保与现有推理引擎的兼容性。大量实验表明，与现有方法相比，AWARe 在实现优于下游性能的同时，有效保留了上游能力。代码已开源：https://github.com/kaln27/AWARe。

## 1 引言

![图1](图1位置)  
图1：AWARe 的总体性能。顶部：在单任务下游适应下，我们的方法与各种基线的雷达图比较。底部：MLLM-DCL 持续学习基准上的结果。  
![图2](图2位置)  
图2：AWARe 概览。给定一个多模态基础模型，AWARe 使用校准样本上的基于激活的显著性识别重要神经元或权重组，然后在微调期间冻结高显著性权重，仅更新低显著性权重。

多模态大语言模型（MLLMs）已成为强大的通用智能体，能够解决需要跨视觉和语言输入进行理解和推理的复杂任务[Zhu et al. 2023](https://arxiv.org/html/2608.11758#bib.bib71)；[Dai et al. 2023](https://arxiv.org/html/2608.11758#bib.bib11)；[Bai et al. 2023](https://arxiv.org/html/2608.11758#bib.bib1)；[Liu et al. 2023](https://arxiv.org/html/2608.11758#bib.bib36)；[Lin et al. 2023](https://arxiv.org/html/2608.11758#bib.bib34)；[Chen et al. 2024b](https://arxiv.org/html/2608.11758#bib.bib9)；[Wang et al. 2024](https://arxiv.org/html/2608.11758#bib.bib58)；[Zhu et al. 2025a](https://arxiv.org/html/2608.11758#bib.bib73)；[Wang et al. 2025](https://arxiv.org/html/2608.11758#bib.bib59)；[Bai et al. 2025b](https://arxiv.org/html/2608.11758#bib.bib3)；[Bai et al. 2025a](https://arxiv.org/html/2608.11758#bib.bib2)。典型的 MLLMs 由预训练的视觉编码器、大语言模型（LLM）和连接器模块组成[Li et al. 2022](https://arxiv.org/html/2608.11758#bib.bib31)；[Dai et al. 2023](https://arxiv.org/html/2608.11758#bib.bib11)；[Liu et al. 2023](https://arxiv.org/html/2608.11758#bib.bib36)。这些模型在大规模预训练中获得了强大的泛化能力。尽管 MLLMs 具有令人印象深刻的零样本能力，在下游任务上对它们进行微调仍然是定制模型以适配特定领域或改善指令跟随性能的标准做法[Dai et al. 2023](https://arxiv.org/html/2608.11758#bib.bib11)；[Bai et al. 2023](https://arxiv.org/html/2608.11758#bib.bib1)；[Liu et al. 2023](https://arxiv.org/html/2608.11758#bib.bib36)。然而，这种适应过程通常伴随着代价：*灾难性遗忘*（Catastrophic Forgetting, CF），即模型在优化新目标时，先前学习到的上游任务能力会显著下降[McCloskey and Cohen 1989](https://arxiv.org/html/2608.11758#bib.bib46)；[McClelland et al. 1995](https://arxiv.org/html/2608.11758#bib.bib45)；[Kirkpatrick et al. 2017](https://arxiv.org/html/2608.11758#bib.bib26)；[Li et al. 2024b](https://arxiv.org/html/2608.11758#bib.bib29)。然而，由于模态之间的复杂交互以及参数空间的高维特性，这种遗忘在 MLLMs 中仍然尤为严重[Sung et al. 2023](https://arxiv.org/html/2608.11758#bib.bib55)；[Luo et al. 2025](https://arxiv.org/html/2608.11758#bib.bib42)；[Luo et al. 2023](https://arxiv.org/html/2608.11758#bib.bib41)；[Zhai et al. 2024a](https://arxiv.org/html/2608.11758#bib.bib68)；[Shen et al. 2024](https://arxiv.org/html/2608.11758#bib.bib52)；[Jiang et al. 2024](https://arxiv.org/html/2608.11758#bib.bib24)；[Zhai et al. 2024b](https://arxiv.org/html/2608.11758#bib.bib69)。

现有的缓解灾难性遗忘的方法，如经验重放[Riemer et al. 2018](https://arxiv.org/html/2608.11758#bib.bib51)；[Chaudhry et al. 2019](https://arxiv.org/html/2608.11758#bib.bib6)或基于正则化的方法[Kirkpatrick et al. 2017](https://arxiv.org/html/2608.11758#bib.bib26)，通常会产生高昂的计算开销，或难以扩展到 MLLMs 数十亿参数规模。参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法如 LoRA[Hu et al. 2022](https://arxiv.org/html/2608.11758#bib.bib19)减少了可训练参数数量，但并不能从根本上防止预训练知识的侵蚀，因为最近的研究表明它们仍可能破坏可靠的上游特征[Biderman et al. 2024](https://arxiv.org/html/2608.11758#bib.bib4)；[Zhu et al. 2024](https://arxiv.org/html/2608.11758#bib.bib72)。因此，一个关键挑战由此产生：*我们如何在不产生高昂成本的前提下，使 MLLMs 既能有效适应下游任务，又能稳健地保留其预训练能力？*

我们的工作主要受到激活感知参数显著性原理的启发，最典型的代表是激活感知权重量化（Activation-aware Weight Quantization, AWQ）[Lin et al. 2024](https://arxiv.org/html/2608.11758#bib.bib33)。AWQ 表明，与较大激活幅值相关的一小部分权重在量化下对保持模型行为具有不成比例的重要性。Wanda 在剪枝中得出了互补的结论：对于 LLMs，仅依赖静态权重大小是不够的，而将权重与输入激活统计相结合，可以得到一种简单而有效的功能重要性估计[Sun et al. 2024](https://arxiv.org/html/2608.11758#bib.bib54)。最近的模型合并研究进一步表明，激活引导的共识可以减少组合专门化模型时的参数干扰[Nobari et al. 2025](https://arxiv.org/html/2608.11758#bib.bib49)；[Yao et al. 2025](https://arxiv.org/html/2608.11758#bib.bib63)。总之，这些发现表明，激活提供了一种动态的、数据依赖的视角，能够揭示哪些内部通路支持稳定的行为，这是诸如幅度剪枝等以权重为中心的准则所无法捕捉的[Han et al. 2015](https://arxiv.org/html/2608.11758#bib.bib17)；[Frankle and Carbin 2019](https://arxiv.org/html/2608.11758#bib.bib13)。因此，我们将激活显著性从压缩和合并中重新应用到遗忘缓解上。

基于这一动机，我们引入了 AWARe，即激活加权自适应保留（Activation-Weighted Adaptive Retention）的缩写，这是一个旨在精准缓解灾难性遗忘的新框架。AWARe 包含两个阶段：**知识画像**（Knowledge Profiling），它从一个小型校准集估计神经元显著性；以及**约束微调**（Constrained Fine-tuning），它在下游训练期间冻结最显著的参数。当上游数据不可用时，我们可以使用通用校准集，如 MMMU[Yue et al. 2024](https://arxiv.org/html/2608.11758#bib.bib65)；正如表 1 中的 AWARe (MMMU) 结果所示，这种方法仍然非常有效，且仅增加可忽略不计的画像成本。

我们通过在 IconQA[Lu et al. 2021](https://arxiv.org/html/2608.11758#bib.bib40)、COCO-Caption[Lin et al. 2014](https://arxiv.org/html/2608.11758#bib.bib35)和 MLLM-DCL[Zhao et al. 2025](https://arxiv.org/html/2608.11758#bib.bib70)（持续学习）基准上的综合实验验证了我们的方法。AWARe 实现了强稳定性-可塑性权衡，冻结自注意力的前 30% 参数通常就足以保留上游知识，同时保持有竞争力的下游性能。

我们的主要贡献总结如下：

- ❶ **AWARe 框架**。我们引入了激活加权自适应保留（AWARe），这是一种简单且基于激活的方法，用于在 MLLMs 的下游适应过程中保留关键的上游知识。
- ❷ **高效与简洁**。我们的方法无需改变架构，仅更新少量参数子集（例如，约 17.5%；见附录 C），避免了重放缓冲区和其他附加模块。
- ❸ **全面验证**。我们通过消融实验和基准测试表明，基于激活的显著性方法是有效的，并且 AWARe 在各种设置下都能保持泛化能力。

## 2 相关工作

### 2.1 灾难性遗忘与持续学习

微调是使多模态大语言模型（MLLMs）适应下游任务的关键机制。然而，深度学习模型常常遭受灾难性遗忘[McCloskey and Cohen 1989](https://arxiv.org/html/2608.11758#bib.bib46)；[McClelland et al. 1995](https://arxiv.org/html/2608.11758#bib.bib45)，即在获取新技能时，先前学习的知识会丢失。为了应对这个问题，人们提出了多种持续学习算法，通常包括基于重放、基于正则化[Kirkpatrick et al. 2017](https://arxiv.org/html/2608.11758#bib.bib26)；[Lopez-Paz and Ranzato 2017](https://arxiv.org/html/2608.11758#bib.bib39)和基于架构的方法[Houlsby et al. 2019](https://arxiv.org/html/2608.11758#bib.bib18)；[Lester et al. 2021](https://arxiv.org/html/2608.11758#bib.bib27)。虽然这些方法已经成熟，但许多传统方法依赖于全模型微调或二阶统计量，这使它们在大规模模型上的计算代价变得难以承受。

### 2.2 用于缓解遗忘的参数高效微调

在大规模基础模型时代，挑战转向如何在完成下游适应后保持模型强大的泛化能力和“开放世界稳定性”[Ni et al. 2023](https://arxiv.org/html/2608.11758#bib.bib48)；[Zhai et al. 2024a](https://arxiv.org/html/2608.11758#bib.bib68)。最近的工作探索了参数高效的解决方案来缓解遗忘。重参数化方法如 DoRA[Liu et al. 2024](https://arxiv.org/html/2608.11758#bib.bib37)以及基于 LoRA 的扩展如 LoRAMoE[Dou et al. 2024](https://arxiv.org/html/2608.11758#bib.bib12)旨在增强学习能力同时应对泛化损失，而 LoRASculpt[Liang et al. 2025](https://arxiv.org/html/2608.11758#bib.bib32)通过稀疏更新剪除冗余参数。正则化技术也被改造使用；例如，Orth-Reg[Hu et al. 2024](https://arxiv.org/html/2608.11758#bib.bib20)鼓励微调特征与预训练表示保持正交。CorDA[Yang et al. 2024](https://arxiv.org/html/2608.11758#bib.bib62)通过上下文引导的权重分解构建任务感知适配器，以保留世界知识。选择性调优方法，如 SPIDER[Huang et al. 2025](https://arxiv.org/html/2608.11758#bib.bib22)和 Model Tailor[Zhu et al. 2024](https://arxiv.org/html/2608.11758#bib.bib72)，利用梯度或显著性分析来构建稀疏更新，旨在保护关键的预训练特征。然而，这些准则往往依赖于静态信息或梯度幅度，忽略了前向传播过程中神经元激活的动态特性。

认识到这些局限性，我们提出了 AWARe。与引入额外参数的加性方法或依赖静态先验的选择性调优不同，AWARe 利用任务引起的激活分布来衡量参数重要性。通过基于上游统计自适应地约束高激活神经元，AWARe 有效地平衡了核心能力的保留与下游任务适应所需的灵活性。

## 3 方法

### 3.1 问题定义

一个多模态大语言模型（MLLM）\( \mathcal{M}_{\theta} \) 通常由三个核心组件构成：一个视觉编码器 \( \mathcal{V} \)（例如，CLIP[Radford et al. 2021](https://arxiv.org/html/2608.11758#bib.bib50) 或 SigLIP[Zhai et al. 2023](https://arxiv.org/html/2608.11758#bib.bib67)）、一个大语言模型 \( \mathcal{L} \)（例如，LLaMA[Touvron et al. 2023b](https://arxiv.org/html/2608.11758#bib.bib57)；[Touvron et al. 2023a](https://arxiv.org/html/2608.11758#bib.bib56) 或 Vicuna[Chiang et al. 2023](https://arxiv.org/html/2608.11758#bib.bib10)），以及一个连接器模块 \( \rho \)，用于桥接视觉和文本模态。标准范式涉及通过连接器将预训练的视觉编码器表示与 LLM 的嵌入空间对齐，使模型能够有效地处理多模态输入。

考虑一个由参数 \( \theta \) 参数化的多模态大语言模型（MLLM）\( \mathcal{M}_{\theta} \)。我们假设该模型已经在一组基础上游任务 \( \mathcal{T}_{base} \) 上进行了初始训练。在持续指令调优设置中，模型会依次接触一个下游任务流，记为 \( \mathcal{T}_{seq}=\{\mathcal{T}_1,\mathcal{T}_2,\dots,\mathcal{T}_N\} \)。我们的目标是通过更新 \( \theta \) 来逐步学习每个新任务 \( \mathcal{T}_t \)，同时缓解对 \( \mathcal{T}_{base} \) 基础能力以及任务 \( \{\mathcal{T}_1,\dots,\mathcal{T}_{t-1}\} \) 中既有知识的灾难性遗忘[McCloskey and Cohen 1989](https://arxiv.org/html/2608.11758#bib.bib46)；[McClelland et al. 1995](https://arxiv.org/html/2608.11758#bib.bib45)。如图 3 所示，我们通过将参数划分为一个固定集合 \( \theta_{fixed} \) 和一个可塑集合 \( \theta_{active} \) 来实现这一点，前者捕获并保留核心已建立特征，后者用于获取新的任务特定知识。

![图3](图3位置)  
图3：AWARe 概览。对于每个目标线性层，我们对校准样本产生的激活矩阵进行画像，在序列和特征维度上归一化激活统计量，并为每个输出通道获得一个显著性分数。高显著性通道被选择并冻结以保留预训练知识，而其余通道保持可训练以用于下游适应。

### 3.2 基于激活的显著性估计

为了识别需要保留的重要参数，我们使用一个校准集 \( \mathcal{S}_{cal} \)，它由每个上游任务训练数据集 \( \mathcal{T}_{up} \) 中的代表性样本组成。具体来说，我们从每个上游任务中随机采样若干实例。在无法访问上游数据的场景中，我们展示利用一个全面的