自模式连通性引导的基于流形表示遗忘的近似机器遗忘

# 基于自模式连通性引导的流形表示遗忘的近似机器遗忘 来源：https://arxiv.org/html/2605.22871 将发表于 KDD 2026。作者版本 (2026)

###### 摘要。机器遗忘是执行被遗忘权的基本机制。现有的依赖于标签操作或任务梯度反转的遗忘研究通常遗忘效果有限。此外，它们可能损害原始学习目标，并且通常不能保证与通过重训练的标准遗忘等价。在本文中，我们提出 ManiF-SMC（基于自模式连通性的流形遗忘），其动机来源于观察到在剩余数据上重训练的模型倾向于根据擦除样本与保留数据的语义相似性对其进行分类。我们首先系统地重新表述近似遗忘问题，将其视为将每个擦除样本从其原始学习到的流形表示中心推向其在保留数据中最接近的语义邻居。这种重新表述使遗忘与重训练行为对齐，并纯粹在表示空间中运行，减少了对标签和任务特定梯度的依赖。为了解决基于流形表示的遗忘问题，ManiF-SMC 将遗忘和表示保留目标封装在基于边界的三元组损失中。由于为遗忘找到合适的边界具有挑战性，我们提出了一个自模式连通性模块，该模块快速重建局部流形，以指导每个遗忘案例的自适应边界的生成。在四个代表性数据集上的广泛实验表明，ManiF-SMC 在仅操作模型表示空间的情况下，实现了与最先进的近似方法相当的遗忘效果。机器遗忘，流形表示，模式连通性 ††版权：acm授权††期刊年份：2026††doi：XXXXXXX.XXXXXXX††会议：请确保从您的权利确认邮件中输入正确的会议标题；2018年6月3日至5日，纽约州伍德斯托克††ISBN：978-1-4503-XXXX-X/2018/06††ccs：安全与隐私††ccs：计算方法 机器学习

## 1. 引言

对数据隐私的日益关注推动了严格的监管努力，例如《通用数据保护条例》(GDPR) (Mantelero, 2013) 等立法法律的出台。这些法律框架保障个人拥有被遗忘权，催生了一个新兴领域，专注于从训练好的机器学习（ML）模型中移除指定样本的影响，即机器遗忘 (Bourtoule 等, 2021; Warnecke 等, 2024)。尽管从头开始重训练提供了最忠实的遗忘方法，但其计算开销往往令人望而却步，这促使了更实用的近似遗忘方法的发展 (Nguyen 等, 2020; Guo 等, 2020)。

参见标题(a) 参见标题(b)
图 1. 在 CIFAR10 上遗忘 1%（500 个随机选择样本）后，梯度上升遗忘模型（左）和重训练模型（右）的表示空间。小点表示来自不同簇的保留样本。大点表示被遗忘的样本，被分配到语义相似度最高的保留簇。

大多数现有的近似遗忘方法从数据为中心的角度考虑，需要操纵标签或反转任务相关梯度，这提高了效率但限制了遗忘效果。特别是，我们面临两个主要挑战。首先，基于标签操作和梯度反转的遗忘与原始学习目标冲突，并且通常不能保证与从头开始重训练的标准遗忘等价 (Thudi 等, 2022b; Ebrahimpour-Boroojeny 等, 2025)。其次，大多数近似遗忘方法构建遗忘损失时严重依赖于标签访问来操纵标签或反转任务特定梯度 (Nguyen 等, 2020; Neel 等, 2021)。然而，在一些复杂场景中，例如语义通信 (Huang 等, 2022; Tian 等, 2024) 和联邦学习 (Li 等, 2020)，遗忘服务器可能只能访问模型或学到的表示。基于这两个挑战，我们提出以下问题。

**研究问题。** 如何在表示空间中实现有效的近似遗忘，减少对标签的依赖，同时保持与从头重训练遗忘的一致性？

**灵感。** 为了开发有效的近似遗忘方法，我们首先研究从头重训练模型在测试时如何表示被擦除的样本。图 1 比较了在 CIFAR10 上遗忘 1% 随机选择的样本时，梯度上升遗忘 (Graves 等, 2021; Thudi 等, 2022a) 和从头重训练的表示空间。我们观察到，在从头重训练下，被擦除的样本往往被映射到在语义上最相似的保留样本附近。这启发了表示空间中的近似遗忘重新表述：我们鼓励被擦除的样本向其最相似保留样本的区域移动，从而使最终模型行为更好地匹配从头重训练遗忘。此外，我们注意到学习到的表示已被广泛研究 (Yerxa 等, 2023; Wang 和 Isola, 2020)。在自监督学习中，促进紧凑性和均匀性已知能提高表示质量和下游性能 (Tian 等, 2021)。基于这一思路，最大流形容量表示 (MMCR) 框架 (Yerxa 等, 2023) 表明，调控表示几何结构能增加类别可分性并支持高质量识别。这些结果表明，控制表示结构可以引导模型行为，而无需依赖标签操作或任务特定梯度。因此，我们从表示空间的角度研究近似遗忘，并使用 MMCR 作为原则性的正则化工具。

**我们的工作。** 在本文中，我们首先从流形表示的角度，并结合图 1 中重训练结果的观察，系统地重新审视并重新表述了近似遗忘问题。具体来说，我们将近似遗忘解释为*从流形表示的角度，将被擦除样本的表示从其原始位置移开，并向其最语义相似的保留样本的中心移动*。这种重新表述使近似遗忘与重训练行为对齐，并纯粹在表示空间中运行，解耦了对标签和任务特定梯度的依赖。我们在图 2 中比较了现有的近似遗忘公式与我们的公式。为了解决这个基于表示的遗忘问题，我们提出了基于自模式连通性的流形遗忘 (ManiF-SMC)。ManiF-SMC 使用三元组对比遗忘损失：它将被擦除样本推离其原始学习表示，同时将其拉向相似保留样本的中心，分离由边界控制。然而，目标中心（相似保留样本的）和合适的边界事先都难以确定。我们引入了一个自模式连通性模块，该模块快速重建这些相似保留样本的局部流形结构，并利用它来估计中心并在遗忘优化过程中自适应边界。通过对不同模型架构和数据集的广泛实验，我们有两个关键发现。首先，ManiF-SMC 通过在表示空间中纯操作，减少了对任务标签的依赖，同时与最先进的近似遗忘基线相比实现了强大的遗忘效果。这种与标签无关的遗忘公式还使其能够在更广泛的设置中部署，例如语义通信系统 (Huang 等, 2022; Tian 等, 2024)，在这些系统中，编码器可能服务于多个下游任务，并且在遗忘阶段标签可能不可用。其次，我们观察到将 MMCR 用于模型训练可以提高类别可分性，并提升现有近似和精确遗忘方法的遗忘效果。

参见标题
图 2. 与现有近似遗忘研究的比较。(a) 现有的近似遗忘研究利用数据和标签信息，通过反转相应梯度进行遗忘。(b) 基于流形表示的遗忘试图将遗忘样本从其原始表示推向保留集中最具语义相似样本的中心。

我们的贡献总结如下：
- • 我们从表示角度重新审视了近似遗忘，并重新将其表述为将被擦除样本的表示从其原始位置移开，并向其最语义相似的保留样本的中心移动。
- • 我们提出了基于自模式连通性的流形遗忘 (ManiF-SMC)，这是一种与标签无关的遗忘方法，纯粹在表示空间中运行，并自适应地估计中心和边界以进行优化。
- • 跨数据集和架构的广泛实验表明，ManiF-SMC 在无需访问任务标签的情况下取得了强大的近似遗忘效果。我们进一步证明，基于 MMCR 的表示正则化提高了类别可分性，并一致地提升了近似和基于重训练的方法的遗忘性能。我们的代码可在 https://anonymous.4open.science/r/ManiF-C120 获取。

## 2. 相关工作

机器遗忘技术由个人日益增长的隐私担忧以及相应的隐私法规所推动 (Cao 和 Yang, 2015; Bourtoule 等, 2021)。最合法的方法是从头开始重训练 (Cao 和 Yang, 2015; Thudi 等, 2022b)。然而，这种方法由于涉及显著的计算和存储成本，尤其是对于复杂的深度学习任务，往往不切实际。因此，许多研究致力于开发高效的遗忘解决方案 (Yan 等, 2022; Warnecke 等, 2024)。

**精确遗忘。** 精确遗忘方法旨在通过重新设计学习算法并在学习过程中存储中间参数来降低重训练新模型的计算成本 (Cao 和 Yang, 2015; Bourtoule 等, 2021; Yan 等, 2022; Wu 等, 2020)。Bourtoule 等人 (2021) 引入了一种流行的精确遗忘方法，其中 ML 服务器将完整数据划分为碎片，并在每个碎片中单独训练子模型。当需要遗忘时，服务器只需从相应碎片中移除要擦除的数据并重训练该碎片的子模型 (Bourtoule 等, 2021)。精确遗忘的优点是能完全消除被遗忘数据对模型的影响。然而，这些方法牺牲了大量存储空间，并且在移除请求频繁时效率不高。

**近似遗忘。** 近似遗忘方法旨在仅使用原始模型和要擦除的样本来实现遗忘，近似得到一个仿佛是在剩余数据集上重训练得到的模型 (Nguyen 等, 2020; Shen 等, 2024; Warnecke 等, 2024)。一种代表性的近似遗忘解决方案基于 Hessian 矩阵和牛顿更新 (Warnecke 等, 2024; Sekhari 等, 2021)，它确保消除了数据的模型无法与从未见过该数据的模型区分开。另一种代表性解决方案基于贝叶斯推断 (Nguyen 等, 2020; Fu 等, 2022; Nguyen 等, 2022)，它仅基于被擦除样本遗忘近似后验。此外，一系列近似遗忘方法通过操作学到的表示或决策边界进行事后模型编辑。Fan 等人 (2024) 将注意力从更新整个网络转移到修改目标权重子集，提高了有效性和效率。Wang 等人 (2024) 提出通过在学到的瓶颈表示上进行操作来实现表示遗忘，而边界遗忘 (Chen 等, 2023) 通过移动决策边界引发类别级遗忘。在 Shah 等人 (2025) 的工作中，Shah 等人 (2025) 基于离散键值瓶颈 (Träuble 等, 2023) 学到的稀疏表示，针对类别遗忘问题。尽管干预点（权重、表示或边界）不同，但这些方法通常依赖于原始任务公式和标签监督来定义遗忘目标并驱动更新。相比之下，我们研究在不用标签信息的情况下进行表示遗忘。

## 3. 预备知识与问题重新表述

### 3.1. 流形容量表示理论背景

考虑嵌入在 D 维特征空间中的 P 个类别标记流形。流形容量理论研究的问题是：最大的负载率 P/D 是多少，使得单个超平面能够以高概率分离这些流形的任意（随机）二分 (Gardner, 1988)？最近的研究表明，存在一个流形容量值 C，使得当 P/D ≤ C 时，找到分离超平面的概率约为 1，而当 P/D ≥ C 时，概率基本为 0 (Chung 等, 2018)。Th