MLUBench: 多模态大语言模型终身遗忘评估基准

# MLUBench：多模态大模型终身遗忘评估基准 来源：https://arxiv.org/html/2606.12809 迟昊昂、王启舟、毛云欣、张志恒、谭洁、刘同亮、杨文静、韩博 ###### 摘要 多模态大语言模型（MLLMs）在海量多模态数据上训练，使得数据遗忘变得日益重要，因为数据所有者可能会要求删除特定内容。在实际应用中，这些请求往往随时间顺序到达，从而引发了具有挑战性的MLLM终身遗忘问题。然而，现有的大多数基准规模有限、范围狭窄，无法捕捉MLLM终身遗忘的复杂性。为填补这一空白，我们提出了MLUBench，这是一个大规模、全面的基准，包含9个类别下的127个实体，用于终身遗忘请求。我们使用MLUBench进行了大量实验，发现现有的遗忘方法遭受严重的累积退化。更为关键的是，我们进一步识别出该问题的独特挑战：与单模态模型不同，MLLM终身遗忘受到保持多模态对齐的约束。持续从单一模态遗忘可能会破坏整个模型。为缓解这一挑战，我们提出了LUMoE，一种有效的方法。实验表明，LUMoE显著缓解了基线方法面临的退化问题。源代码和MLUBench数据集已开源于此URL（https://github.com/lihe-maxsize/Lifelong_Unlearning_main）。 机器学习，ICML ## 1 引言 多模态大语言模型（MLLMs），如Gemini（Team et al., 2023 (https://arxiv.org/html/2606.12809#bib.bib18)）和GPT-4o（Hurst et al., 2024 (https://arxiv.org/html/2606.12809#bib.bib17)），在广泛的应用中展现出了卓越的多模态推理能力（Yin et al., 2024 (https://arxiv.org/html/2606.12809#bib.bib13); Liu et al., 2024e (https://arxiv.org/html/2606.12809#bib.bib37); Li et al., 2024b (https://arxiv.org/html/2606.12809#bib.bib35); Wu et al., 2023 (https://arxiv.org/html/2606.12809#bib.bib14); Zhang et al., 2024a (https://arxiv.org/html/2606.12809#bib.bib15)）。这些模型通常在网络规模的多模态数据上训练，这不可避免地引发了关于数据隐私和版权的担忧（Zhao et al., 2025 (https://arxiv.org/html/2606.12809#bib.bib19); Shi et al., 2024b (https://arxiv.org/html/2606.12809#bib.bib20)）。因此，针对从训练模型中删除特定数据的机器遗忘变得至关重要。在实际场景中，删除请求可能不会一次性全部到来，而是随时间顺序提交。这种实际设置引出了我们研究的具有挑战性的问题：MLLM终身遗忘，即MLLM必须持续遗忘多模态信息，同时保持其通用能力（图1 (https://arxiv.org/html/2606.12809#S1.F1)）。 参见图注 图1：MLLM终身遗忘挑战的说明。(a) MLLM经历顺序遗忘任务，必须持续遗忘指定知识同时保留其他信息。(b) LLaVA模型在重复GD（Liu et al., 2022 (https://arxiv.org/html/2606.12809#bib.bib26)）遗忘操作后的输出退化，展示了响应质量的累积损害。

尽管具有重要的实际意义，MLLM终身遗忘仍基本未被探索。阻碍进展的一个主要障碍是缺乏大规模、全面的评估基准。现有的MLLM遗忘基准大多在数据类型或规模上有所限制，不适合全面的终身遗忘评估。例如，MMUBench（Li et al., 2024b (https://arxiv.org/html/2606.12809#bib.bib35)）仅包含20个概念，规模和多样性有限；FIUBench（Ma et al., 2024 (https://arxiv.org/html/2606.12809#bib.bib36)）狭隘地关注面部信息；而MLLMU-Bench（Liu et al., 2025 (https://arxiv.org/html/2606.12809#bib.bib68)）仅关注名人。其他近期工作（Huo et al., 2025 (https://arxiv.org/html/2606.12809#bib.bib69); Wang et al., 2025b (https://arxiv.org/html/2606.12809#bib.bib72)）推进了MLLM遗忘，但并未提供全面的框架来评估顺序遗忘请求的关键累积效应。这些空白使得难以深入研究MLLM在持续遗忘过程中的行为。为填补这些空白并促进系统的MLLM终身遗忘研究，我们引入了MLLM终身遗忘基准（MLUBench）。MLUBench是一个大规模、多样化的基准，专门设计用于模拟和评估MLLM终身遗忘。它包含9个不同类别下的127个广泛知名的现实世界实体，关联5,105张图像和15,414个VQA对。通过设计，MLUBench将这些实体组织成一序列遗忘任务，为评估遗忘算法的长期性能提供了一个综合平台（参见图2 (https://arxiv.org/html/2606.12809#S3.F2)概述）。

使用MLUBench，我们对现有的遗忘方法（Yao et al., 2023 (https://arxiv.org/html/2606.12809#bib.bib25); Liu et al., 2022 (https://arxiv.org/html/2606.12809#bib.bib26); Yao et al., 2024 (https://arxiv.org/html/2606.12809#bib.bib27); Zhang et al., 2024b (https://arxiv.org/html/2606.12809#bib.bib28)）进行了广泛评估，并揭示了两个关键发现。首先，我们确认终身遗忘会导致遗忘质量和模型效用上的严重累积性能退化。例如，GA方法（Yao et al., 2023 (https://arxiv.org/html/2606.12809#bib.bib25)）在第一个任务上的遗忘质量从0.38降至后续遗忘操作后的仅0.01。其次，更为关键的是，我们揭示了MLLM终身遗忘问题的独特挑战。具体来说，与单模态模型不同，MLLM终身遗忘受到保持多模态对齐的基本约束。我们通过实验证明，遗忘操作，即使只应用于单一模态，也可能灾难性地破坏这种对齐，导致模型性能崩溃。

为缓解上述挑战，受专家混合（MoE）（Masoudnia and Ebrahimpour, 2014 (https://arxiv.org/html/2606.12809#bib.bib32)）的启发，我们提出了带有专家混合的终身遗忘（LUMoE），这是一种简单但有效的方法。LUMoE不是持续改变MLLM的权重，而是采用可切换的低秩适配（LoRA）（Hu et al., 2021 (https://arxiv.org/html/2606.12809#bib.bib34)）适配器作为特定遗忘任务的“专家”。一个强大的门控模块将输入引导至适当的适配器，有效处理遗忘请求。我们的贡献总结如下：

- • 我们研究了MLLM终身遗忘这一实际且具有挑战性的问题。通过实验，我们识别出保持多模态对齐是MLLM终身遗忘中的独特且基本挑战，使其区别于单模态对应物（第3节 (https://arxiv.org/html/2606.12809#S3)）。
- • 我们引入了MLUBench，一个大规模、多样化的基准，用于评估MLLM终身遗忘。MLUBench涵盖9个类别下的127个现实世界实体，包括5,105张图像和15,414个VQA对（第4节 (https://arxiv.org/html/2606.12809#S4)）。
- • 我们在MLUBench上进行了广泛实验，揭示了现有遗忘方法的严重性能退化问题（第6节 (https://arxiv.org/html/2606.12809#S6)）。我们设计了一种简单但有效的方法LUMoE。它为该领域的未来研究建立了一个强有力的性能标准（第5节 (https://arxiv.org/html/2606.12809#S5)）。

## 2 相关工作 我们回顾了与语言模型机器遗忘和顺序遗忘相关的工作。其他相关研究在附录M（https://arxiv.org/html/2606.12809#A13）中提供。

语言模型的机器遗忘。语言模型的机器遗忘旨在移除语言模型中的特定数据（Liu et al., 2024b (https://arxiv.org/html/2606.12809#bib.bib22), d (https://arxiv.org/html/2606.12809#bib.bib24), e (https://arxiv.org/html/2606.12809#bib.bib37); Ma et al., 2024 (https://arxiv.org/html/2606.12809#bib.bib36); Li et al., 2024b (https://arxiv.org/html/2606.12809#bib.bib35); Yao et al., 2023 (https://arxiv.org/html/2606.12809#bib.bib25)）。梯度上升（GA）（Yao et al., 2023 (https://arxiv.org/html/2606.12809#bib.bib25)）反转梯度下降以消除不想要的数据，但常常会降低无关数据上的性能（Liu et al., 2024e (https://arxiv.org/html/2606.12809#bib.bib37), b (https://arxiv.org/html/2606.12809#bib.bib22)）。为解决此问题，梯度差异（GD）（Liu et al., 2022 (https://arxiv.org/html/2606.12809#bib.bib26)）和KL最小化（KL）（Yao et al., 2024 (https://arxiv.org/html/2606.12809#bib.bib27)）引入了保留损失以减轻性能退化。基于对齐的方法，如负偏好优化（NPO）（Zhang et al., 2024b (https://arxiv.org/html/2606.12809#bib.bib28)），进一步缓解了性能退化。关于MLLM遗忘，Liu等人（2025 (https://arxiv.org/html/2606.12809#bib.bib68)）提出了MLLMU-Bench，主要针对多模态画像。MMUNLEARNER（Huo et al., 2025 (https://arxiv.org/html/2606.12809#bib.bib69)）是一种为MLLM遗忘设计的几何约束梯度上升方法。Wang等人（2025b (https://arxiv.org/html/2606.12809#bib.bib72)）引入了一种基于视觉知识蒸馏的方法。Feng等人（2025 (https://arxiv.org/html/2606.12809#bib.bib70)）对生成模型遗忘（包括多模态遗忘）进行了系统综述。与现有基准相比，我们的基准包含更多实体，并覆盖更广泛的类型。

语言模型的顺序遗忘。语言模型的顺序遗忘已引起极大关注。Gao等人（2024 (https://arxiv.org/html/2606.12809#bib.bib65)）解决了LLM中遗忘效果与模型效用之间的权衡，引入了O3O^3框架以在不依赖保留数据的情况下平衡这一矛盾。在一项互补研究中，Shi等人（2024b (https://arxiv.org/html/2606.12809#bib.bib20)）评估了遗忘方法的可持续性，确定它们不足以应对顺序遗忘请求。Kawakami等人（2025 (https://arxiv.org/html/2606.12809#bib.bib67)）探索了大型多模态模型遗忘的评估框架。我们的工作与（Kawakami et al., 2025 (https://arxiv.org/html/2606.12809#bib.bib67)）不同之处在于我们引入了一个新的综合性基准。此外，通过实验，我们揭示了MLLM终身遗忘的独特挑战，使其区别于LLM终身遗忘。

## 3 问题形式化 在本节中，我们提供MLLM遗忘和MLLM终身遗忘的问题形式化。此外，我们通过实验讨论MLLM终身遗忘的独特挑战。

### 3.1 MLLM遗忘 我们首先形式化MLLM遗忘目标。令Mθ\\mathcal{M}_{\\theta}表示由θ\\theta参数化的MLLM。给定特定的多模态实体和要遗忘的信息，MLLM遗忘旨在获得一个新模型Mθ′\\mathcal{M}_{\\theta^{\\prime}}。Mθ′\\mathcal{M}_{\\theta^{\\prime}}应消除目标多模态知识，同时保持在不相关任务上的整体性能。形式上，令fi∈Ff_i \\in \\mathcal{F}表示关于遗忘实体ii的遗忘信息，rj∈Rr_j \\in \\mathcal{R}表示与保留实体jj相关的保留信息。令tt表示一个遗忘任务。我们定义任务tt的遗忘集为Ft={f1,f2,...,fn}F_t = \\{f_1, f_2, ..., f_n\\}，任务tt的保留信息集为Rt={r1,r2,...,rm}R_t = \\{r_1, r_2, ..., r_m\\}。然后，遗忘任务形式化为t=(Ft,Rt)t = (F_t, R_t)。对于一个被遗忘的MLLM Mθ′\\mathcal{M}_{\\theta^{\\prime}}，它应满足：1) ∀fi∈Ft\\forall f_i \\in F_t：模型不应展现f_if_i的多模态知识；2) ∀rj∈Rt\\forall r_j \\in R_t：模型应保持关于rjr_j的原始行为。

### 3.2 MLLM终身遗忘 然后，我们形式化所研究的MLLM终身遗忘问题。给定一个MLLM Mθ\\mathcal{M}_{\\theta}，模型需要顺序地遗忘一系列任务。令θt\\theta_t表示模型在仅完成单个遗忘任务tt后的参数。令T={t1,t2,...,tk}\\mathcal{T} = \\{t_1, t_2, ..., t_k\\}表示遗忘任务的有序序列。在顺序遗忘T\\mathcal{T}中的所有任务后，模型参数更新为θT\\theta_{\\mathcal{T}}。对于任何任务tt，我们定义P(Mθ,t)P(\\mathcal{M}_{\\theta}, t)111在本文中，P(Mθ,t)P(\\mathcal{M}_{\\theta}, t)可以是第6.1节（https://arxiv.org/html/2606.12809#S6.SS1）中定义的遗忘质量或模型效用。为模型Mθ\\mathcal{M}_{\\theta}在任务tt上的通用性能度量。MLLM终身遗忘的目标是最小化MLLM在已遗忘任务上的性能退化，并有效遗忘新任务，形式化为 minθT∑t∈T‖P(Mθt,t)−P(MθT,t)‖。\\min_{\\theta_{\\mathcal{T}}} \\sum_{t \\in \\mathcal{T}} \\left\\| P\\bigl(\\mathcal{M}_{\\theta_t}, t\\bigr) - P\\bigl(\\mathcal{M}_{\\theta_{\\mathcal{T}}}, t\\bigr) \\right\\|。(1) 需要注意的是，公式(1)（https://arxiv.org/html/2606.12809#S3.E1）侧重于减轻累积退化（稳定性），而不是确保底层遗忘方法的绝对有效性。

参见图注 图2：MLUBench概览。MLUBench包含9个类别（广泛数据类型）下的127个实体，共有5,105张图像和15,414个VQA对（大规模）。

### 3.3 MLLM终身遗忘的独特性 在本文中，我们认为MLLM终身遗忘并非LLM终身遗忘的直接扩展，而是一个独立的概念且更具挑战性的问题。具体来说，我们假设核心区别在于多模态对齐，这引入了单模态LLM中不存在的独特挑战。在MLLM终身遗忘中，遗忘方法需要保持语言模型和视觉组件（视觉适配器和多模态投影仪）以及连接它们的对齐的完整性。我们在第6.3节（https://arxiv.org/html/2606.12809#S6.SS3）（详细结果见表1（https://arxiv.org/html/2606.12809#S5.T1））中通过实验证明了我们的论点。我们的结果证明，MLLM终身遗忘可能不是通过孤立处理单一模态就能解决的问题，因为持续在一种模态中遗忘可能会破坏对齐。因此，MLLM终身遗忘中的有效遗忘方法应考虑保护MLLMs的多模态对齐。

## 4 MLUBench：MLLM终身遗忘评估基准 在本节中，我们介绍MLUBench。我们首先提供概述，然后是构建过程和数据集筛选（第4.1节（https://arxiv.org/html/2606.12809#S4.SS1））。接着我们介绍用于顺序任务构建的MLUBench划分及其通用性评估（第4.2节（https://arxiv.org/html/2606.12809#S4.SS2））。

版权声明。本研究中使用的图像通过Google Images从公开可用的来源收集。根据