遗忘算法审计

# 遗忘算法的审计 来源：https://arxiv.org/html/2607.05898 Sahasrajit SarmasarkarAnastasia Koloskova斯坦福大学苏黎世大学[email protected]@uzh.chSanmi Koyejo斯坦福大学[email protected]

###### 摘要

评估遗忘算法是否真正移除训练数据的影响力仍是一个开放挑战。我们提出一个实用的审计器，利用成员推断攻击计算遗忘参数 \(\varepsilon\) 的数据相关下界。评估多种遗忘算法后，我们发现一个明显分化：具有严格保证的算法（如模型裁剪和回滚删除）达到非常小的 \(\varepsilon\) 下界，无法证伪其遗忘保证；而经验方法（如基于海森矩阵的遗忘、交替上升-下降、遗忘集上升和保留集微调）则显示出较大的下界，表明遗忘效果差。我们的审计器通过假设检验框架提供了一个实证证伪遗忘声明的实用工具，并在 CIFAR-100 和莎士比亚文本上进行了验证。¹¹¹代码位于：https://github.com/Sahasrajit123/audit-unlearning-code.

## 1 引言

机器遗忘是从已训练模型中移除特定训练样本影响力的任务，理想情况下能产生一个仿佛从未见过那些样本的模型（Cao and Yang, 2015 (https://arxiv.org/html/2607.05898#bib.bib19))。仅仅从训练集中删除一个数据点并不能实现这一点：其信息仍嵌入在学习参数中，且通常可由具有查询权限的对手恢复，例如通过成员推断攻击（Shokri et al., 2016 (https://arxiv.org/html/2607.05898#bib.bib11); Carlini et al., 2022 (https://arxiv.org/html/2607.05898#bib.bib5))。这促使了*精确*遗忘（产生与在保留数据上从头重新训练模型相同分布的模型（Bourtoule et al., 2021 (https://arxiv.org/html/2607.05898#bib.bib20); Ginart et al., 2019 (https://arxiv.org/html/2607.05898#bib.bib25)））和*近似*遗忘（为了效率而放宽此要求（Guo et al., 2020 (https://arxiv.org/html/2607.05898#bib.bib26); Sekhari et al., 2021 (https://arxiv.org/html/2607.05898#bib.bib12); Neel et al., 2021 (https://arxiv.org/html/2607.05898#bib.bib27); Golatkar et al., 2020 (https://arxiv.org/html/2607.05898#bib.bib28); Kurmanji et al., 2023 (https://arxiv.org/html/2607.05898#bib.bib29)））的发展。虽然精确遗忘提供了最强保证，但在大规模实践中基本不可行：现有方案要么局限于简单模型（如 \(k\)-均值）（Ginart et al., 2019 (https://arxiv.org/html/2607.05898#bib.bib25)），要么依赖数据分片（Bourtoule et al., 2021 (https://arxiv.org/html/2607.05898#bib.bib20)），以牺牲效用换取廉价删除。为了扩展到深度网络，一系列并行工作开发了*近似*遗忘算法，包含两种折衷。第一类是*启发式*算法，不提供形式化保证，包括基于 Fisher/海森矩阵的参数擦除（Golatkar et al., 2020 (https://arxiv.org/html/2607.05898#bib.bib28)）、遗忘集上的梯度上升、保留集上的微调，以及交替上升-下降方案（如 SCRUB (Kurmanji et al., 2023 (https://arxiv.org/html/2607.05898#bib.bib29))）。第二类采用*认证*的 \((\varepsilon,\delta)\)-不可区分性概念（Guo et al., 2020 (https://arxiv.org/html/2607.05898#bib.bib26)），借鉴自差分隐私，要求遗忘模型与从头重新训练的模型是 \((\varepsilon,\delta)\)-不可区分的（Dwork and Roth, 2014 (https://arxiv.org/html/2607.05898#bib.bib9)）。该保证限定了任何作用于遗忘模型相对于基线重新训练模型的测试的区分优势。大多数认证遗忘算法要求损失函数（强）凸性（Guo et al., 2020 (https://arxiv.org/html/2607.05898#bib.bib26); Sekhari et al., 2021 (https://arxiv.org/html/2607.05898#bib.bib12); Neel et al., 2021 (https://arxiv.org/html/2607.05898#bib.bib27); Qiao et al., 2025 (https://arxiv.org/html/2607.05898#bib.bib30); Zhang et al., 2025 (https://arxiv.org/html/2607.05898#bib.bib6)）或唯一极小点（Allouah et al., 2025 (https://arxiv.org/html/2607.05898#bib.bib45)）；只有少数近期方法为真正的非凸损失提供了认证保证（Koloskova et al., 2025 (https://arxiv.org/html/2607.05898#bib.bib4); Mu and Klabjan, 2025 (https://arxiv.org/html/2607.05898#bib.bib7); Chien et al., 2024 (https://arxiv.org/html/2607.05898#bib.bib33); Chourasia and Shah, 2023 (https://arxiv.org/html/2607.05898#bib.bib34)）。虽然上述界是理论性的，但本文的目标是设计一个审计器，利用经验证据来检验声称的遗忘保证是否实际成立。形式上，我们的目标是拒绝假设 \(\varepsilon < \varepsilon_{\text{LB}}\)（针对任何认证的 \((\varepsilon,\delta)\) 遗忘算法），这与近期差分隐私审计的工作精神一致（Jagielski et al., 2020 (https://arxiv.org/html/2607.05898#bib.bib31); Nasr et al., 2023 (https://arxiv.org/html/2607.05898#bib.bib32); Steinke et al., 2023 (https://arxiv.org/html/2607.05898#bib.bib1)）。虽然我们的审计借鉴了差分隐私审计，但遗忘设置更接近于*群体隐私*（Dwork and Roth, 2014 (https://arxiv.org/html/2607.05898#bib.bib9)）的精神：认证遗忘在删除遗忘点*任意子集*（而非单个点）时给出 \((\varepsilon,\delta)\)-不可区分性，且这两个概念在 \(\varepsilon\) 上相差一个乘法膨胀因子。现成的 DP 审计器因此仅能认证较弱的单点邻近关系，并在遗忘设置中产生宽松的 \(\varepsilon\) 界；我们的元算法（算法 1 (https://arxiv.org/html/2607.05898#alg1)）扩展了 Steinke 等人 (2023 (https://arxiv.org/html/2607.05898#bib.bib1)) 的单次运行审计器，并加入了针对子集级别保证的新界。我们的主要贡献总结如下。

- •**威胁模型。** 我们采用一个强大的对手，具有对学习算法、遗忘算法、数据加载混洗器以及训练开始时初始模型权重的黑盒知识。对手知道这些过程使用的基础随机机制，但在任何给定运行中无法观察到其具体的随机实现。
- •**审计器。** 利用关于任意遗忘子集的 \((\varepsilon,\delta)\)-遗忘定义，我们设计了一个假设检验，在 \(\delta=0\) 情况下，以受控的第一类错误拒绝零假设 \(\varepsilon < \varepsilon_{\mathrm{LB}}\)（见引理 4.2 (https://arxiv.org/html/2607.05898#S4.Thmtheorem2)）。
- •**经验评估。** 我们在第 5 节 (https://arxiv.org/html/2607.05898#S5) 中开发了此审计器的两个实例，并在一系列遗忘算法上进行了评估，揭示了认证算法与非认证算法之间的明显分化：认证遗忘算法产生非常小的 \(\varepsilon\) 下界，而非认证算法产生的下界经常超过 50–60。

## 2 相关工作

经验性地下界化 \((\varepsilon,\delta)\)-DP 机制的隐私参数 \(\varepsilon\) 已在 Jagielski 等人 (2020 (https://arxiv.org/html/2607.05898#bib.bib31))、Nasr 等人 (2021 (https://arxiv.org/html/2607.05898#bib.bib8), 2023 (https://arxiv.org/html/2607.05898#bib.bib32))、Annamalai 和 De Cristofaro (2024 (https://arxiv.org/html/2607.05898#bib.bib35)) 中研究过，通常通过在邻近数据集对中植入金丝雀，并经由 DP 的假设检验解释（Kairouz et al., 2015 (https://arxiv.org/html/2607.05898#bib.bib15); Wasserman and Zhou, 2010 (https://arxiv.org/html/2607.05898#bib.bib37)）将区分准确率转换为 \(\varepsilon\) 下界。这些方法需要多次独立训练才能降低审计的第一类/第二类错误。近期工作（Steinke et al., 2023 (https://arxiv.org/html/2607.05898#bib.bib1); Mahloujifar et al., 2025 (https://arxiv.org/html/2607.05898#bib.bib36)）分别针对 \((\varepsilon,\delta)\)-DP 和 \(f\)-DP，通过在一次训练中植入许多独立金丝雀并联合审计，将运行成本降低到单次训练。我们的审计器借用了 Steinke 等人 (2023 (https://arxiv.org/html/2607.05898#bib.bib1)) 的联合金丝雀思想，但到遗忘的迁移并非直接。如上所述，子集级别保证产生的每个金丝雀信号比标准 DP 审计下的单点邻近关系更弱，因此我们聚合多次运行以得到紧凑的 \(\varepsilon\) 下界，并且在此邻接关系下将联合金丝雀统计量转换为有效边界需要新的引理。为了进一步收紧结果边界，我们将 Steinke 等人 (2023 (https://arxiv.org/html/2607.05898#bib.bib1)) 和 Mahloujifar 等人 (2025 (https://arxiv.org/html/2607.05898#bib.bib36)) 的损失差异评分替换为 LiRA 风格（Carlini et al., 2022 (https://arxiv.org/html/2607.05898#bib.bib5)）的每个金丝雀似然比检验，使用 logit 缩放置信度，并将高斯分布拟合到金丝雀在“遗忘集中”和“从未见过”假设下的得分。另一条独立的工作线直接审计遗忘而非 DP：*基于后门的验证*（例如 Athena (Sommer et al., 2022 (https://arxiv.org/html/2607.05898#bib.bib39)，尽管 Zhang 等人 (2024 (https://arxiv.org/html/2607.05898#bib.bib40)) 表明此类方案可能被不诚实的提供商欺骗）、*输出差异*审计（如 TAPE (Wang et al., 2025b (https://arxiv.org/html/2607.05898#bib.bib41))，在遗忘前后模型差距上训练一个重构器），以及*样本级别*审计，返回每个样本的遗忘完成度分数（Wang et al., 2025a (https://arxiv.org/html/2607.05898#bib.bib42); Triantafillou et al., 2024 (https://arxiv.org/html/2607.05898#bib.bib43); Gu et al., 2025 (https://arxiv.org/html/2607.05898#bib.bib44)）。我们的审计器返回的是与认证遗忘参数 \(\varepsilon\) 本身校准的量，而非每个样本的完成度分数：它是算法 \(\varepsilon\) 的经验下界，可直接与其声称的 \((\varepsilon,\delta)\) 保证进行比较。早期的 MIA 公式（Shokri et al., 2016 (https://arxiv.org/html/2607.05898#bib.bib11); Yeom et al., 2018 (https://arxiv.org/html/2607.05898#bib.bib46)）被似然比攻击（LiRA (Carlini et al., 2022 (https://arxiv.org/html/2607.05898#bib.bib5)), RMIA (Zarifzadeh et al., 2024 (https://arxiv.org/html/2607.05898#bib.bib49))）所强化。在遗忘设置中，Chen 等人 (2021 (https://arxiv.org/html/2607.05898#bib.bib10)) 和 Bertran 等人 (2024 (https://arxiv.org/html/2607.05898#bib.bib50)) 利用原始模型与遗忘模型之间的*差异*来推断或重构被删除样本。这些公式通常假设可以访问遗忘前后的模型，而我们的审计公式仅基于对遗忘模型的访问。

## 3 问题设置

### 3.1 遗忘定义

令 \(\mathcal{A}\) 为一个训练算法，给定数据集 \(\mathcal{D}\)，输出训练好的模型 \(\mathcal{A}(\mathcal{D})\)。假设请求移除一个子集 \(\mathcal{D}_f \subseteq \mathcal{D}\)，称为*遗忘集*。我们记 \(\mathcal{D}_r := \mathcal{D} \setminus \mathcal{D}_f\) 为对应的*保留集*。遗忘的一个自然基线是在 \(\mathcal{D}_r\) 上从头重新训练模型。然而，完全重训练通常在计算上代价高昂。因此，遗忘算法的目标是更高效地生成一个模型，其分布接近于在保留集上合适重训练过程的分布。形式上，一个*遗忘算法* \(\mathcal{U}\) 以训练好的模型、完整数据集和遗忘集作为输入，并输出一个*遗忘后*模型 \(f_u = \mathcal{U}\big(\mathcal{A}(\mathcal{D}), \mathcal{D}, \mathcal{D}_f\big)\)。

### 3.2 \((\varepsilon,\delta)\) 不可区分性 (Dwork and Roth, 2014 (https://arxiv.org/html/2607.05898#bib.bib9))

###### 定义 3.1 (\((\varepsilon,\delta)\)-不可区分性)。令 \(X\) 和 \(Y\) 为共同定义域 \(\Omega\) 上的随机变量。我们说 \(X\) 和 \(Y\) 是 \((\varepsilon,\delta)\)-不可区分的，记为 \(X \approx_{\varepsilon,\delta} Y\)，如果对于每个可测集 \(S \subseteq \Omega\)，满足 \(\Pr[X \in S] \leq e^\varepsilon \Pr[Y \in S] + \delta\) 且 \(\Pr[Y \in S] \leq e^\varepsilon \Pr[X \in S] + \delta\)。

### 3.3 认证遗忘

###### 定义 3.2 (\((\varepsilon,\delta)\)-认证遗忘，Guo 等人，2020 (https://arxiv.org/html/2607.05898#bib.bib26); Koloskova 等人，2025 (https://arxiv.org/html/2607.05898#bib.bib4))。我们说 \(\mathcal{U}\) 是 \(\mathcal{A}\) 的一个 \((\varepsilon,\delta)\)-认证遗忘算法，如果存在一个参考算法 \(\overline{\mathcal{A}}\)，使得对于每个遗忘集 \(\mathcal{D}_f \subseteq \mathcal{D}\)（保留集 \(\mathcal{D}_r := \mathcal{D} \setminus \mathcal{D}_f\)），随机变量 \(\mathcal{U}(\mathcal{A}(\mathcal{D}), \mathcal{D}, \mathcal{D}_f)\) 和 \(\overline{\mathcal{A}}(\mathcal{D}_r)\) 是 \((\varepsilon,\delta)\)-不可区分的。

非正式地说，一个观察者无法区分遗忘模型和仅使用保留集产生的模型，除了 \((\varepsilon,\delta)\) 的范围之内。

### 3.4 威胁模型

上述通用定义未指定对手的辅助信息。为了使审计具体化，我们固定以下威胁模型。我们考虑一个黑盒对手，其额外观察到 (i) 训练开始时的初始模型 \(x_o\)，以及 (ii) 每个 epoch 内训练数据点的混洗顺序 \(\pi\)；对手无法访问训练或遗忘过程中使用的任何其他随机源。这些假设相对于标准威胁模型加强了对手，并且关键地并*不*削弱认证遗忘算法的认证遗忘保证：Koloskova 等人 (2025 (https://arxiv.org/html/2607.05898#bib.bib4)) 的模型裁剪算法（又称噪声微调）和 Mu 与 Klabjan (2025 (https://arxiv.org/html/2607.05898#bib.bib7)) 的回滚删除 (R2D) 在此更强对手下仍保持 \((\varepsilon,\delta)\)-认证¹。因为对手观察到 \(x_o\) 和 \(\pi\)，不可区分性要求必须在它们条件下成立；参考算法也允许依赖于 \((x_o, \pi)\)。令 \(\mathcal{A}_{x_o, \pi}(\mathcal{D})\) 表示从 \(x_o\) 开始、混洗顺序为 \(\pi\) 的学习算法。

###### 定义 3.3 (我们威胁模型下的 \((\varepsilon,\delta)\)-认证遗忘)。我们说 \(\mathcal{U}\) 是 \(\mathcal{A}\) 的一个 \((\varepsilon,\delta)\)-认证遗忘算法，如果对于每个遗忘集 \(\mathcal{D}_f \subseteq \mathcal{D}\)，随机变量 \(\mathcal{U}(\mathcal{A}(\mathcal{D}), \mathcal{D}, \mathcal{D}_f)\) 和 \(\mathcal{A}_{x_o, \pi}(\mathcal{D}_r)\) 是 \((\varepsilon,\delta)\)-不可区分的。