已删除，但未消失：输出遗忘并非真正遗忘

# 输出遗忘并非真正的遗忘 来源：https://arxiv.org/html/2606.25001 ## 被抹除，但并未消失：输出遗忘并非真正的遗忘 Teresa Pui Yee Yong¹, Win Kent Ong¹, Chee Seng Chan¹,² ¹马来亚大学，吉隆坡，马来西亚 ²VinUniversity，河内，越南 2026年4月 ###### 摘要 机器遗忘（MU）通常通过*输出遗忘*来评判，例如低遗忘集准确率或降低的logit级成员推断。但如果输出级成功可以与表示空间中与重训练不一致的残差共存，那么当前的评估实际上在认证什么样的遗忘？我们通过*与重训练一致的表示遗忘*来研究这个问题，将重训练模型（即从头开始训练、不包含遗忘数据的模型）作为正确遗忘的操作性参考。在多种遗忘方法、数据集和模型上，我们的理论分析和实证结果表明，标准的输出级评估可能系统性高估遗忘的成功程度。在这个更强的视角下，当前的方法通常表现为在输出层被遗忘了，但相对于重训练却表现出结构性的不匹配。它们在遗忘样本上部分与重训练对齐，在保留样本上更为不一致，并留下沿重训练相关方向集中的残差异常，而不是在表示空间中弥散。这种结构性的不匹配通过遗忘/保留不对称性、方向不匹配以及沿重训练相关方向集中的残差来表征。这些结果表明，当前的MU往往被评估为*表观遗忘*，而不是与重训练一致的遗忘。更广泛地说，重训练揭示了输出遗忘所隐藏的东西。 ## 1 引言 机器遗忘（MU）通常通过*输出遗忘*来评估[21, 5, 31, 13, 9]。也就是说，如果一个模型达到了低遗忘集准确率、低输出级成员推断[4]和高保留准确率，它通常被认为已成功遗忘。这已成为许多MU文献中的默认成功信号[5, 13, 9, 3, 2, 35, 10, 6, 32, 26]。在本文中，我们通过理论分析和大量实验结果表明，这个信号太弱了。在多种遗忘方法、数据集和模型上，那些在输出层看似成功的方法，在表示空间中往往仍与重训练不一致。换句话说，当前的评估可能系统性地将*表观遗忘*误认为是成功的遗忘。为了揭示这一差距，我们使用**与重训练一致的表示遗忘**作为一个更强的评估视角。具体而言，我们将重训练模型，即从头开始训练、不包含遗忘数据的模型，作为表示空间中正确遗忘的操作性参考。这个参考很重要，因为将遗忘模型与原始模型比较可以显示其变化程度，而将其与重训练模型比较则可以揭示这种变化是否与遗忘指定数据相一致。在这个视角下，我们发现许多现有的遗忘方法[21, 5, 31, 13, 9, 22]实现了表观上的输出级遗忘，但在表示空间中仍与重训练不一致（见图1）。这表明，输出级的成功并不足以保证与重训练一致的遗忘。我们强调，与重训练一致的表示遗忘并非作为所有MU场景的普遍公理引入的。相反，它在这里作为一个更强的评估视角，用于诊断较弱的基于端点的标准可能遗漏的失败模式。 参考说明 图1：看似被遗忘，但并不接近重训练。本文研究的评估差距示意图。输出级指标可能表明成功的遗忘，但同样的方法在表示空间中可能仍远离精确的重训练参考。这种差异促使我们进行与重训练一致的遗忘/保留不对称性、方向不匹配和集中残差分析。 这引出了本文的核心问题，即*如果输出级成功可以与表示空间中与重训练不一致的残差共存，那么当前的评估实际上在认证什么样的遗忘？*我们进一步追问，这种残差不匹配是否仅仅是偶然的，还是相对于精确重训练遵循一种稳定的结构。如图1所示，我们的主张不仅仅是表示层级的残差在遗忘后可能保持不变。相反，在与重训练一致的视角下，这些残差揭示了当前评估所认证的结果与精确重训练会产生的结果之间的系统性差距。在评估的方法中，这种差距不是随机的。遗忘常常在遗忘样本上与重训练部分一致，在保留样本上偏离更显著，并将残差异常集中在与重训练相关的方向上。特别地，这种不匹配通过遗忘/保留不对称性、方向不匹配以及表示空间中的集中残差表现出来。这些发现表明，许多现有方法[9, 2, 35, 10, 6, 32, 11, 12]最好被理解为在输出层实现了*表观遗忘*，但却留下了结构化的表示层级残差。我们在受控的类别遗忘设置中实例化这一分析，从CIFAR-10与ResNet-18开始，并扩展到数据集复杂度、模型大小、架构、遗忘类别和随机种子。在这些设置中，同样的结构性不匹配超越了单一基准配置而持续存在。综合来看，这些结果揭示了当前MU评估和算法中的一个隐藏失败模式。该领域常常将输出级遗忘视为成功遗忘的证据，即使在表示空间中尚未实现与重训练一致的遗忘。我们的贡献有三点： - • 我们表明*输出遗忘*是MU的一个误导性成功信号，标准的输出级评估可能系统性高估遗忘的成功程度。 - • 我们引入了*与重训练一致的表示遗忘*作为一个更强的评估视角，将重训练模型作为表示空间中正确遗忘应该是什么样子的操作性参考。 - • 在这个视角下，我们揭示了当前遗忘方法的*结构性失败模式*，其特征包括遗忘/保留不对称性、方向不匹配、集中残差泄漏以及跨尺度的持久性。 在这个意义上，本文的核心信息很简单。重训练揭示了输出遗忘所隐藏的东西。 ## 2 问题形式化与与重训练一致的表示视角 激发本文的经验矛盾很简单。输出级的成功并不保证在表示空间中与重训练一致。因此，接下来的自然问题不仅是是否仍存在不匹配，而且是如何相对重训练形式化这种不匹配。本节介绍了精确提出该问题所需的最小语言。 参考说明 图2：输出遗忘可能在表面上成功，而遗忘集的信息在表示空间中仍然可恢复。我们通过与重训练一致的表示视角来研究这一差距。 ### 2.1 预备知识 设θ表示初始模型参数，D = {(x_i, y_i)}_{i=1}^N 为完整训练数据集。学习算法A产生原始模型θ_o = A(θ, D)。给定指定的遗忘集D_u ⊂ D，剩余数据构成保留集D_r = D \ D_u。遗忘算法U产生遗忘模型θ_u = U(θ_o, D_u)，目标是消除D_u对θ_o的影响。理想的参考是重训练模型θ_r = A(θ, D_r)，仅在D_r上从头训练得到。我们将模型写为f_θ(x) = g_θ(h_θ(x))，其中h_θ: X → ℝ^d 表示倒数第二层表示，g_θ 是预测头。在整篇论文中，θ_r 作为正确遗忘的*操作性参考*。将θ_u与θ_o比较衡量变化程度，而将θ_u与θ_r比较则评估这种变化是否与不包含D_u的重训练一致。 ### 2.2 机器遗忘的两个视角 大多数MU评估[5, 13, 9, 3, 2, 35, 10, 6, 32, 26]仍然以*输出级成功信号*为主导，例如低遗忘集准确率、低输出级成员推断和高保留准确率。这些指标评估模型是否在预测层*看似*遗忘。 ###### 定义1（输出遗忘）. 对于集合S，令F_θ^S = {f_θ(x) : x ∈ S} 表示模型输出，其经验分布为P_θ^S(F)。我们说一个遗忘模型θ_u实现了*输出遗忘*，如果它在遗忘集D_u和保留集D_r上的输出行为与重训练模型θ_r匹配，即对于每个S ∈ {D_u, D_r}： P_{θ_u}^S(F) ≈ P_{θ_r}^S(F), ∀S ∈ {D_u, D_r}. (1) 然而，输出遗忘本身并不确立模型在表示空间中也与重训练一致。为了形式化这一差距，我们使用*与重训练一致的表示遗忘*作为一个更强的评估视角，如图2所示。对于集合S，令H_θ^S = {h_θ(x) : x ∈ S} 表示表示，其经验分布为P_θ^S(H)。我们定义从θ到θ'在S上的表示变换为T_{θ→θ'}^S = {h_{θ'}(x) - h_θ(x) : x ∈ S}，其经验分布为P_{θ→θ'}^S(T)。 ###### 定义2（与重训练一致的表示遗忘）. 我们将*与重训练一致的表示遗忘*定义如下。在这个视角下，一个遗忘模型θ_u不仅被评估其表示是否与重训练模型θ_r相似，还被评估其相对于原始模型θ_o的表示变化是否与重训练引起的变化相匹配。具体地，对于每个S ∈ {D_u, D_r}，我们评估： P_{θ_u}^S(H) ≈ P_{θ_r}^S(H), P_{θ_o→θ_u}^S(T) ≈ P_{θ_o→θ_r}^S(T), ∀S ∈ {D_u, D_r}. (2) 我们将这个概念用作一个*更强的评估视角*，而不是所有MU场景的普遍公理。它在本文中的角色是诊断性的而非教条性的，因为端点相似性不足以排除隐藏的残差不匹配，模型可以在输出层一致而在表示空间中相差甚远。在我们基准规模的设置中，重训练提供了检测此类不匹配的最强可用参考。 ### 2.3 为什么输出遗忘太弱 以下结果形式化了输出级指标的一个局限性。完整证明见附录A。 ###### 定理1（输出遗忘并不蕴含与重训练一致的表示遗忘）. 设f_θ(x) = g_θ(h_θ(x)) 是一个由特征提取器h_θ: X → ℝ^d 和预测头g_θ组成的分类器。存在一个遗忘模型θ_u，使得 f_{θ_u}(x) = f_{θ_r}(x), ∀x ∈ D， 同时对于至少一个S ∈ {D_u, D_r}，有P_{θ_u}^S(H) ≠ P_{θ_r}^S(H)。因此，与重训练模型的完美输出对齐并不保证与重训练一致的表示，表示层级的残差可能持续存在。 ### 2.4 隐藏失败模式的诊断工具 我们的目标不是为了几何而引入几何，而是将其用作一个诊断工具箱，以揭示当前方法在与重训练一致的表示视角下*如何*失败。 #### 表示层级泄漏。成员推断攻击（MIA）[4]评估一个样本是否属于训练集。在遗忘设置中，MIA_{logit} 使用输出统计量如置信度或熵，而MIA_{rep} 则作用于特征嵌入上。