DualOptim+：桥接共享与解耦优化器状态以改进大型语言模型中的机器遗忘

我们提出 DualOptim+，一种新型优化框架，旨在改进大型语言模型中的机器遗忘。它引入一个基本状态来捕捉遗忘目标和保留目标共享的通用表示，以及多个增量状态来保留各目标特有的残差。该架构允许优化器根据遗忘梯度与保留梯度之间的方向冲突，自适应地在共享状态与解耦状态之间进行桥接。我们进一步引入 DualOptim+ 8bit，一种量化变体，可在不牺牲性能的前提下降低内存开销。在虚构与真实遗忘、安全对齐以及多任务学习任务上的大量实验表明，DualOptim+ 能够在不同目标之间实现更优的权衡。代码可在 https://github.com/CityU-MLO/DualOptimPlus 获取。

机器学习，ICML

## 1 引言

机器遗忘（MU）[Bourtoule et al., 2021](https://arxiv.org/html/2605.21539#bib.bib1) 旨在从预训练模型中擦除特定训练数据（即遗忘集）的影响，同时保留模型在保留集上的通用能力。虽然 MU 在图像分类和生成等计算机视觉任务中已有广泛研究[Heng and Soh, 2023](https://arxiv.org/html/2605.21539#bib.bib27); [Kurmanji et al., 2023](https://arxiv.org/html/2605.21539#bib.bib26); [Fan et al., 2024b](https://arxiv.org/html/2605.21539#bib.bib3); [Huang et al., 2024](https://arxiv.org/html/2605.21539#bib.bib4)，但大型语言模型（LLM）的迅速崛起凸显了高效移除过时或未授权信息的必要性[Dang, 2021](https://arxiv.org/html/2605.21539#bib.bib28)。为此，针对 LLM 的专用遗忘技术近来已成为一个重要的研究方向 [Yao et al., 2024](https://arxiv.org/html/2605.21539#bib.bib29); [Zhang et al., 2024](https://arxiv.org/html/2605.21539#bib.bib6); [Yuan et al., 2025](https://arxiv.org/html/2605.21539#bib.bib5)。尽管取得了进展，但通过优化各种设计的遗忘目标来平衡特定信息的擦除与通用能力的保持仍然具有挑战性。现有的大多数 LLM 遗忘方法 [Yao et al., 2024](https://arxiv.org/html/2605.21539#bib.bib29); [Zhang et al., 2024](https://arxiv.org/html/2605.21539#bib.bib6); [Yuan et al., 2025](https://arxiv.org/html/2605.21539#bib.bib5) 通过将遗忘集和保留集的梯度相加来联合优化两者的目标，这常常导致模型实用性显著下降。受 [Fan et al., 2024b](https://arxiv.org/html/2605.21539#bib.bib3); [Huang et al., 2024](https://arxiv.org/html/2605.21539#bib.bib4) 的启发，交替优化遗忘和保留目标展现出有前景的遗忘性能，但当使用共享优化器状态（例如 Adam 中的梯度移动平均和平方梯度移动平均）时，会因两个冲突目标的梯度纠缠而受到影响。为了解决这个问题，DualOptim [Zhong et al., 2025](https://arxiv.org/html/2605.21539#bib.bib2) 将优化器状态解耦，并为不同目标使用独立的优化器。尽管在计算机视觉任务中有效，但在 LLM 上带来的改进较为有限。因此，开发一种新颖的更新方案对于有效的 LLM 遗忘至关重要。

在这项工作中，我们提出了 DualOptim+，这是一种即插即用的框架，可与任何带有存储状态的优化器兼容。它引入了一个共享的基础状态（base state）以及每个优化目标的解耦增量状态（delta state）。具体来说，基础状态使用来自遗忘目标和保留目标两者的梯度进行更新，从而使其能够捕捉它们的通用表示；同时，增量状态通过目标特定梯度与基础状态之间的残差进行更新，从而保留下每个目标独有的表示。最后，通过组合基础状态和增量状态来更新参数。我们的理论和数值分析表明，DualOptim+ 充当着完全共享状态与完全解耦状态之间的自适应中间体，其行为根据遗忘梯度和保留梯度之间的方向冲突程度进行调整。我们通过在多种 LLM 上进行的多样化机器遗忘任务（包括虚构数据集、真实场景和安全对齐任务）中的大量实验验证了 DualOptim+ 的有效性。为了缓解额外优化器状态带来的内存开销，我们还引入了 DualOptim+ 8bit。这种量化变体在保持最佳性能的同时显著降低了内存消耗。我们的结果表明，DualOptim+ 弥合了解耦与共享优化器状态之间的差距，从而在遗忘效果与模型实用性之间实现更优的权衡。我们相信，我们的方法是一个通用的优化框架，可以应用于机器遗忘之外更广泛的场景，例如 LLM 对齐、多目标学习等。我们将本文的贡献总结如下：

1. 1. 我们提出了 DualOptim+，它引入共享的基础状态来捕捉通用表示，以及解耦的增量状态来保留任务特定的残差，有效弥合了共享与解耦优化器状态之间的差距。
2. 2. DualOptim+ 是一个即插即用的框架，适用于任何多目标优化以及带有存储状态的优化器。理论和数值分析表明，DualOptim+ 充当着完全共享状态与完全解耦状态之间的中间体。
3. 3. 在多种 LLM、数据集和任务上的大量实验证实，我们的方法在遗忘效果与模型实用性之间实现了更优的权衡。DualOptim+ 8bit 通过量化降低内存开销，且不牺牲性能。

## 2 相关工作

机器遗忘（MU）的早期工作主要致力于图像分类和图像生成等任务 [Bourtoule et al., 2021](https://arxiv.org/html/2605.21539#bib.bib1); [Heng and Soh, 2023](https://arxiv.org/html/2605.21539#bib.bib27); [Jia et al., 2023](https://arxiv.org/html/2605.21539#bib.bib31); [Kurmanji et al., 2023](https://arxiv.org/html/2605.21539#bib.bib26); [Tarun et al., 2023](https://arxiv.org/html/2605.21539#bib.bib30); [Fan et al., 2024b](https://arxiv.org/html/2605.21539#bib.bib3); [Huang et al., 2024](https://arxiv.org/html/2605.21539#bib.bib4)。近来，MU 被调整用于解决大型语言模型（LLM）特有的挑战，例如移除敏感或受版权保护的训练数据 [Maini et al., 2024](https://arxiv.org/html/2605.21539#bib.bib11)、减轻有害行为 [Li et al., 2024](https://arxiv.org/html/2605.21539#bib.bib35) 以及高效处理高维参数空间 [Fan et al., 2024a](https://arxiv.org/html/2605.21539#bib.bib33)。根据模型如何处理被遗忘的知识，LLM 上的 MU 方法可以分为**非定向遗忘**和**定向遗忘**。在非定向遗忘中，目标是消除特定数据的影响，而不限制模型对被遗忘内容的后续响应。这种范式的常见技术包括梯度上升（GA）[Thudi et al., 2021](https://arxiv.org/html/2605.21539#bib.bib32); [Yao et al., 2024](https://arxiv.org/html/2605.21539#bib.bib29)、负偏好优化（NPO）[Fan et al., 2024a](https://arxiv.org/html/2605.21539#bib.bib33); [Zhang et al., 2024](https://arxiv.org/html/2605.21539#bib.bib6)、最大熵（ME）[Yuan et al., 2025](https://arxiv.org/html/2605.21539#bib.bib5) 和表示错位 [Li et al., 2024](https://arxiv.org/html/2605.21539#bib.bib35); [Zou et al., 2024](https://arxiv.org/html/2605.21539#bib.bib34)。相反，**定向遗忘**旨在当模型遇到被遗忘信息时诱导特定的行为，例如提供标准化的拒绝回答（如“我不知道”）。它比非定向遗忘更用户友好。定向遗忘的常用方法包括拒绝微调（IDK）[Maini et al., 2024](https://arxiv.org/html/2605.21539#bib.bib11)、直接偏好优化（DPO）[Rafailov et al., 2023](https://arxiv.org/html/2605.21539#bib.bib14) 和自分类 [Gandikota et al., 2024](https://arxiv.org/html/2605.21539#bib.bib36)。除了擦除目标信息，对于非定向和定向遗忘来说，保持一般模型实用性并避免灾难性遗忘也至关重要。大多数现有方法都采用交叉熵损失 [Gandikota et al., 2024](https://arxiv.org/html/2605.21539#bib.bib36); [Li et al., 2024](https://arxiv.org/html/2605.21539#bib.bib35); [Yao et al., 2024](https://arxiv.org/html/2605.21539#bib.bib29); [Zhang et al., 2024](https://arxiv.org/html/2605.21539#bib.bib6) 或散度驱动的损失 [Yuan et al., 2025](https://arxiv.org/html/2605.21539#bib.bib5) 来优化模型在指定保留集上的实用性。大多数 LLM 遗忘方法联合更新遗忘集和保留集的目标，但这种优化策略通常会导致过度遗忘和实用性下降 [Zhang et al., 2024](https://arxiv.org/html/2605.21539#bib.bib6)。通过交替使用来自遗忘目标和保留目标的梯度 [Kurmanji et al., 2023](https://arxiv.org/html/2605.21539#bib.bib26); [Fan et al., 2024b](https://arxiv.org/html/2605.21539#bib.bib3); [Huang et al., 2024](https://arxiv.org/html/2605.21539#bib.bib4) 可以缓解这一问题。DualOptim [Zhong et al., 2025](https://arxiv.org/html/2605.21539#bib.bib2) 通过使用两个具有独立状态的优化器，进一步提高了遗忘的有效性和稳定性。除了上述基于优化的方法 [Jeung et al., 2025a](https://arxiv.org/html/2605.21539#bib.bib41), b [Jeung et al., 2025](https://arxiv.org/html/2605.21539#bib.bib43); [Reisizadeh et al., 2026](https://arxiv.org/html/2605.21539#bib.bib42) 之外，推理时调整方法旨在不修改模型参数的情况下实现高效遗忘。这些方法主要基于输出干预 [Deng et al., 2025](https://arxiv.org/html/2605.21539#bib.bib38); [Wang et al., 2026](https://arxiv.org/html/2605.21539#bib.bib39) 和上下文学习 [Pawelczyk et al., 2024](https://arxiv.org/html/2605.21539#bib.bib40)。

## 3 方法

### 3.1 预备知识

参见图注 (a) 联合 (b) 交替 (c) DualOptim (d) DualOptim+

**图 1:** 基线方法和 DualOptim+ 的比较。方块代表优化器状态。(a) **联合**更新方案将遗忘损失和保留损失相加并执行一次反向传播。(b) **交替**更新方案在每次迭代中使用来自 \(\mathcal{L}_f\) 或 \(\mathcal{L}_r\) 的梯度来最小化 (1)，并在两个目标之间交替。(c) **DualOptim** 基于交替方案为每个目标引入独立的优化器状态。(d) **DualOptim+** 通过引入基础状态和增量状态来桥接共享状态与解耦状态。基础状态由 \(\nabla_\theta \mathcal{L}_f\) 和 \(\nabla_\theta \mathcal{L}_r\) 联合更新，而 \(\Delta_f / \Delta_r\) 则由 \(\nabla_\theta \mathcal{L}_f / \nabla_\theta \mathcal{L}_r\) 与基础状态之间的差值进行更新。最终，用于参数更新的动量项通过将基础状态与相应的增量状态组合起来重建。

机器遗忘（MU）旨在解决以下优化问题：

\[
\min_{\bm{\theta}} \mathcal{L}_f(\bm{\theta}, \mathcal{D}_f) + \mathcal{L}_r(\bm{\theta}, \mathcal{D}_r),
\]

其中 \(\bm{\theta}\) 表示模型参数。遗忘集和保留集分别记为 \(\mathcal{D}_f\) 和 \(\mathcal{D}_r\)。\(\mathcal{L}_f\) 和 \(\mathcal{L}_r\) 分别是对应于遗忘目标和保留目标的损失函数。这些目标引导模型消除 \(\mathcal{D}_f\) 中包含的信息，同时保持其在 \(\mathcal{D}_r\) 上的实用性。在大型语言模型（LLM）的背景下，大多数 MU 方法 [Zhang et al., 2024](https://arxiv.org/html/2605.21539#bib.bib6); [Yuan et al., 2025](https://arxiv.org/html/2605.21539#bib.bib5) 采用**联合**更新方案（见图 1 (a)）。该方案将遗忘目标与保留目标求和，并通过一次反向传播获得梯度来最小化 (1)。更新步骤可表述如下。\(\mathcal{P}\) 表示一个可能存储状态的优化器。

\[
\bm{\theta} \leftarrow \bm{\theta} - \mathcal{P}(\nabla_{\bm{\theta}}(\mathcal{L}_f + \mathcal{L}_r)).
\]

一些近期工作 [Fan et al., 2024b](https://arxiv.org/html/2605.21539#bib.bib3); [Huang et al., 2024](https://arxiv.org/html/2605.21539#bib.bib4) 利用**交替**更新方案（见图 1 (b)）来提升性能。该方案在每次迭代中使用来自 \(\mathcal{L}_f\) 或 \(\mathcal{L}_r\) 的梯度来最小化 (1)，并在两个目标之间交替。形式化地：

\[
\begin{cases}
\bm{\theta} \leftarrow \bm{\theta} - \mathcal{P}(\nabla_{\bm{\theta}} \mathcal{L}_f) & \text{对于遗忘数据} \\
\bm{\theta} \leftarrow \bm{\theta} - \mathcal{P}(\nabla_{\bm{\theta}} \mathcal{L}_r) & \text{对于保留数据}
\end{cases}.
\]

尽管有效，但交替更新方案使得 MU 方法不稳定且对超参数调优敏感。DualOptim [Zhong et al., 2025](https://arxiv.org/html/2605.21539#bib.bib2)（见图 1 (c)）通过使用两个具有独立状态的解耦优化器 \(\mathcal{P}_f, \mathcal{P}_r\) 缓解了不稳定问题，并进一步提高了有效性。这种更新方案将两个目标的冲突梯度解耦。形式化地：

\[
\begin{cases}
\bm{\theta} \leftarrow \bm{\theta} - \mathcal{P}_f(\nabla_{\bm{\theta}} \mathcal{L}_f) & \text{对于遗忘数据} \\
\bm{\theta} \leftarrow \bm{\theta} - \mathcal{P}_r(\nabla_{\bm{\theta}} \mathcal{L}_r) & \text{对于保留数据}
\end{cases}.
\]

DualOptim 是一种即插即用的技术，适用于各种遗忘任务。然而，与在图像分类和生成中显著的性能提升相比，将 DualOptim 应用于 LLM 带来的改进相对有限。我们在图 2 (a) 中的观察表明，DualOptim 的解耦动量项之间的相似度接近于零，这意味着在 LLM 遗忘中，来自遗忘目标和保留目标的梯度并不总是冲突的，尤其是在后期阶段。这一现象指