表征纠缠放大遗忘中的附带损害

# 纠缠表征在遗忘学习中放大附带损害

来源：https://arxiv.org/html/2609.02285  
Tim G. J. Rudner  
所属机构：多伦多大学  
Christian Schroeder de Witt  
所属机构：牛津大学  

###### 摘要  
可解释性研究中长期以来存在一个直觉：表征纠缠——即神经网络中知识领域间共享结构——会使遗忘学习更加困难。虽然这种直觉很普遍，但从未在受控实验中直接验证过。我们提出了一种方法来实现这一点：通过改造选择性梯度掩码（SGTM），我们在英语维基百科上训练了一套六个2.54亿参数的语言模型，这些模型在生物学与非生物学知识之间具有不同程度的解纠缠。对整套模型应用三种标准遗忘方法后，我们发现更解纠缠的模型持续实现了更好的保留-遗忘权衡：在固定的遗忘水平下，最解纠缠的模型在其中两种方法下的保留成本大约低4倍，在第三种方法下低1.3倍。因为我们的干预只改变了模型，而非数据或遗忘算法，这直接证明了表征纠缠是遗忘学习中附带损害的原因之一，正如可解释性研究者长期以来所怀疑的那样。类似的设计也可用于测试可解释性的其他结构性主张。

图1：模型中保留域和遗忘域越解纠缠，遗忘学习实现的保留-遗忘权衡就越好。三种遗忘方法（WGA、WDR、RMU）在六个不同SGTM训练步骤比例（p）模型上的保留-遗忘帕累托前沿。模型按其方差纠缠分数（定义见附录C https://arxiv.org/html/2609.02285#A3，见图2 https://arxiv.org/html/2609.02285#S3.F2）着色：紫色表示较不解纠缠，黄色表示更解纠缠。每个前沿基于四到六个超参数配置构建；阴影区域表示五个随机种子的±1标准误差。两轴均相对于每个模型自身的遗忘前损失衡量。分析见第3.2节 https://arxiv.org/html/2609.02285#S3.SS2。

## 1 引言  
广义而言，可解释性的价值体现在它能预测当我们干预网络时会发生什么。遗忘学习是一个自然的测试案例：可解释性提出了神经网络的两个结构属性，直觉上会影响特定知识能否被干净地遗忘。第一个是*定位*：知识在网络参数中的位置。第二个是*纠缠*：保留域和遗忘域在网络中共享结构（表征、处理路径或参数）的程度。这两种直觉都已在遗忘学习文献中立足（Barez 等人，2025 https://arxiv.org/html/2609.02285#bib.bib12），但到目前为止，只有定位属性受到了严格、受控的实验测试（Lee 等人，2025 https://arxiv.org/html/2609.02285#bib.bib4；Guo 等人，2025 https://arxiv.org/html/2609.02285#bib.bib3；Boglioni 等人，2026 https://arxiv.org/html/2609.02285#bib.bib2）。在本文中，我们将类似的实验方法应用于纠缠。

根据纠缠直觉，高纠缠应该会使保留-遗忘权衡变差：如果要遗忘的知识和要保留的知识在网络中共享大量结构，那么在不损害另一部分知识的情况下移除其中一部分就应该更难。然而，这一点从未被直接测试过。构成遗忘学习的三个主要要素是模型、数据和遗忘算法，当前研究纠缠的文献总是固定模型，仅通过改变数据组合（Zhao 等人，2024 https://arxiv.org/html/2609.02285#bib.bib9）或遗忘算法（Sondej 和 Yang，2025 https://arxiv.org/html/2609.02285#bib.bib14；Tang 和 Khanna，2026 https://arxiv.org/html/2609.02285#bib.bib10；Chen 等人，2026 https://arxiv.org/html/2609.02285#bib.bib13）间接测试纠缠的影响，这使得模型级纠缠与其他因素混杂在一起。或许测试纠缠是否影响遗忘学习最自然的方式——固定数据集和算法，只改变模型中的纠缠程度——迄今为止尚未尝试，部分原因是这需要一种方法来控制纠缠，而不仅仅是观察它。

我们的主要贡献是填补这一空白，并为纠缠做了近期工作为定位所做的事：构建一个尽可能直接测试这种直觉的受控实验。我们在英语维基百科（Wikimedia，2025b https://arxiv.org/html/2609.02285#bib.bib16）上训练了六个2.54亿参数的语言模型，使用选择性梯度掩码（SGTM）——一种改进的梯度路由变体（Shilov 等人，2025 https://arxiv.org/html/2609.02285#bib.bib1；Cloud 等人，2024 https://arxiv.org/html/2609.02285#bib.bib8）——将生物学知识与其他知识日益解纠缠，并用三个指标验证该模型套件覆盖了不同程度的解纠缠。对于套件中的每个模型，我们测量了三种常见遗忘方法的保留-遗忘权衡：加权梯度上升（WGA）（Wang 等人，2025 https://arxiv.org/html/2609.02285#bib.bib7）、权重分歧正则化（WDR）（Siddiqui 等人，2025 https://arxiv.org/html/2609.02285#bib.bib6）和 RMU（Li 等人，2024 https://arxiv.org/html/2609.02285#bib.bib5）。我们发现，更解纠缠的模型持续实现了更好的保留-遗忘权衡（图1 https://arxiv.org/html/2609.02285#S0.F1）：在固定的遗忘水平下，在WGA和RMU方法下，最解纠缠模型比最纠缠模型的保留成本大约低4倍，在WDR方法下低1.3倍。

我们需要精确说明这一点意味着什么。即使在我们的实验中，我们也无法只改变纠缠：我们改变了训练过程，这会引发纠缠和模型其他属性的变化。尽管如此，该设计排除了早期工作中数据和算法的混杂因素。结合早期工作的间接证据，我们的结果将可解释性中一个长期存在的直觉转变为一个实证发现。

## 2 实验设置  
### 2.1 训练具有不同解纠缠程度的模型  
为了训练遗忘域和保留域解纠缠的模型，我们使用了一种称为选择性梯度掩码（SGTM）的梯度路由变体（Cloud 等人，2024 https://arxiv.org/html/2609.02285#bib.bib8），它由Shilov 等人（2025 https://arxiv.org/html/2609.02285#bib.bib1）提出。虽然SGTM最初是一种旨在让一组参数专门处理来自目标领域输入的训练方法，但我们发现可以将其重新用于训练解纠缠模型。具体来说，当使用SGTM使一组参数专门处理遗忘域时，遗忘域也会与保留域变得更加解纠缠，正如我们在第3.1节 https://arxiv.org/html/2609.02285#S3.SS1中所示。我们利用这一事实，通过改变应用SGTM的训练步骤比例，生成具有不同解纠缠水平的模型。

#### 数据。  
遵循原始SGTM论文，我们在英语维基百科（Wikimedia，2025b https://arxiv.org/html/2609.02285#bib.bib16）（约37亿个词元）上进行训练，使用从维基百科的文章主题分类器（Wikimedia，2025a https://arxiv.org/html/2609.02285#bib.bib15）得出的文章级主题标签，并将数据划分为三个领域：(1) *遗忘*：所有被分类为STEM-生物学的文章（约占训练词元的3.7%）；(2) *相邻*：主题与生物学密切相关的文章（医学与健康、化学、地球与环境）；(3) *保留*：所有剩余文章，涵盖文化、地理、历史与社会以及与生物学无关的STEM主题。每个样本是1024个词元的文章文本块。我们为每个领域单独保留测试集。为了在我们的遗忘超参数搜索期间减少评估成本，我们对每个测试集进行20%的子采样，并在此固定子样本上报告所有遗忘指标。

#### 模型。  
遵循原始论文，我们训练的所有模型都是2.54亿参数的GPT-Neo风格Transformer，具有16层，隐藏维度1024，32个注意力头，MLP维度4096；完整配置见附录A https://arxiv.org/html/2609.02285#A1。在每个Transformer块中，我们指定一小部分参数作为*生物学子网络*，θ_bio：每个块中的1个注意力头（共32个）和64个MLP隐藏单元（共4096个）。我们将所有其他参数表示为θ_other。

#### SGTM。  
与原始论文类似，我们将训练样本分配到三个路由类别之一：(1) *路由-生物*：所有遗忘（即所有生物学）样本；(2) *路由-其他*：随机采样的10%保留和相邻样本；(3) *路由-未变*：剩余的90%保留和相邻样本。根据样本的路由类别，SGTM在向前和向后传播过程中修改训练过程。对于路由-生物样本，θ_other的梯度在向后传播后被置零，确保生物学知识仅流入θ_bio。*与原始论文不同，我们在训练后不消融θ_bio。我们使用SGTM仅用于控制解纠缠，而非用于遗忘学习本身。对于路由-其他样本，θ_bio在向前传播过程中被置零，训练模型即使没有生物学子网络也能在非目标数据上表现良好。最后，路由-未变样本通过标准训练更新所有参数。概览见表1 https://arxiv.org/html/2609.02285#S2.T1。

表1：SGTM中的训练干预，根据样本的路由类别应用。†θ_bio接收不到梯度，因为其在向前传播过程中激活被置零。

#### 改变SGTM步骤的比例。  
在原始论文中，SGTM在所有训练步骤中使用；我们则仅为训练步骤的一定比例p%激活SGTM。我们训练六个模型，p∈{0,20,40,60,80,100}；前(100-p)%的步骤使用标准训练，剩余的p%使用上一段所述的SGTM。*随机应用SGTM——以一定概率路由每个样本，而不是先进行标准训练再切换到完全SGTM——即使在低p值下也会产生显著的解纠缠，这归因于Cloud 等人（2024 https://arxiv.org/html/2609.02285#bib.bib8）描述的*吸收效应*。

### 2.2 测量领域间的解纠缠程度  
我们分别测量第2.1节 https://arxiv.org/html/2609.02285#S2.SS1中定义的三个领域所有配对之间的解纠缠：遗忘-保留、遗忘-相邻，以及作为对照的保留-相邻。给定一对领域，我们从它们的两个测试集中采样1024个样本，然后对于每个样本，我们取模型的最终层隐藏状态，在非填充位置上平均，并将结果归一化为单位范数，得到每个样本一个向量。然后我们使用三个标准指标比较所得的两个点云：方差纠缠分数（VES）（Zhao 等人，2024 https://arxiv.org/html/2609.02285#bib.bib9）、最大均值差异（MMD²）（Gretton 等人，2012 https://arxiv.org/html/2609.02285#bib.bib11）和切片2-Wasserstein距离（SW²₂）（Bonneel 等人，2015 https://arxiv.org/html/2609.02285#bib.bib17）。较低的VES和较高的MMD²及SW²₂表示更解纠缠；定义和设置见附录C https://arxiv.org/html/2609.02285#A3。这三个指标不在共同尺度上，其绝对值在不同领域配对间不可比。因此，对于每个指标和每个配对，我们报告测量值相对于p=0%模型值的对数比，这样每条曲线都从零开始，绘制的量是由SGTM引起的分离度的相对变化。

### 2.3 测量遗忘学习期间的保留-遗忘权衡  
我们将三种标准遗忘算法应用于六个模型中的每一个，使用第2.1节 https://arxiv.org/html/2609.02285#S2.SS1中定义的遗忘和保留训练数据。相邻数据不用于优化，仅用于评估。我们不向算法提供关于模型如何训练的任何信息。我们的兴趣不在于比较方法本身，而在于检查*在每种方法内*，更解纠缠的模型是否产生更好的保留-遗忘权衡。由于六个模型在遗忘前的损失不同，我们测量测试损失相对于每个模型自身遗忘前值的*变化*，Δℓ_遗忘和Δℓ_保留。对于每种方法，我们在四到六个超参数配置上进行扫描（完整列表见附录B https://arxiv.org/html/2609.02285#A2），并利用结果为每个模型-方法对构建保留-遗忘帕累托前沿。我们在五个随机种子上运行每种配置，运行特定于优化器的步数，并在遗忘损失超过过滤掉生物学数据后训练的模型的损失加上一个小缓冲时进行早停。*超过此点，遗忘损失的进一步增加反映的是模型的退化，而非生物学知识的移除。

#### 遗忘方法。  
令CE(θ, D)表示模型θ在数据集D上的平均每个词元的交叉熵，令θ₀表示遗忘前的参数。
- ∙ *加权梯度上升（WGA）*（Wang 等人，2025 https://arxiv.org/html/2609.02285#bib.bib7）结合了在遗忘集上的梯度上升和在保留集上的梯度下降，最小化  
  ℒ_WGA(θ) = CE(θ; 保留) - λ_WGA CE_WGA(θ; 遗忘), λ_WGA > 0，  
  其中CE_WGA是重新加权的交叉熵，它根据遗忘数据中下一个词元的先验概率pθ(x_{t+1} | x_{≤t})缩放每个词元的对数概率损失。
- ∙ *权重分歧正则化（WDR）*（Siddiqui 等人，2025 https://arxiv.org/html/2609.02285#bib.bib6）结合了在保留集上的标准交叉熵和一个惩罚参数偏离其初始值的正则化项：  
  ℒ_WDR(θ) = CE(θ; 保留) - λ_WDR √(1/|θ| Σ_i (θ_i - θ_{0,i})²), λ_WDR > 0。
- ∙ *表示误导遗忘（RMU）*（Li 等人，2024 https://arxiv.org/html/2609.02285#bib.bib5）修改中间表示，使得在遗忘样本上，指定层的激活被引导向随机目标方向，而在保留样本上，相同的激活被锚定到其在θ₀下的值。损失在单个层定义，但更新应用于该层及其前两层的MLP权重。

## 3 结果  
### 3.1 使用更多SGTM训练的模型更解纠缠  
我们首先验证，改变SGTM训练步骤的比例确实会产生具有有意义的差异解纠缠水平的模型。我们使用的所有三个指标（见第2.2节 https://arxiv.org/html/2609.02285#S2.SS2）都同意这一点：随着p的增长，遗忘域与保留域和相邻域都分离（F