协作优化中的因果遗忘：对抗性贡献下的精确与近似影响逆转

# 面向协作优化的因果反学习：对抗性贡献下的精确与近似影响逆转
来源：https://arxiv.org/html/2605.20341
Ali Mahdavi 计算机工程系 SRC，伊斯兰阿扎德大学 伊朗德黑兰 ali\.mahdavi@iau\.ir &Azadeh Zamanifar 计算机工程系 SRC，伊斯兰阿扎德大学 伊朗德黑兰 azamanifar@iau\.ac\.ir Amir Farhad Farhadi 计算机工程学院 伊朗科技大学 伊朗德黑兰 amfarhadi@mail\.iust\.ac\.ir &Omid Kashefi Meta 美国加利福尼亚州 kashefi@meta\.com

###### 摘要

联邦学习系统必须支持数据删除请求以遵守隐私法规，但每次删除后从头重新训练在计算上代价高昂。我们提出 HF-KCU，一种通过 Krylov 子空间中共轭梯度迭代来近似影响函数，从而移除客户端贡献的方法，将复杂度从 \(O(d^3)\) 降至 \(O(kd)\)，其中 \(k \ll d\)。因果加权机制确保只有持有被删除数据的客户端接收参数更新，防止对其他未受影响客户端产生非预期的变更。我们的方法旨在处理 Hessian 矩阵和梯度上的有界对抗扰动，在现实威胁模型下提供优雅的性能退化。

我们在 CIFAR-10、MNIST 和 Fashion-MNIST 数据集上，使用卷积网络（ResNet-18、SimpleCNN）和 Transformer（ViT-Lite）架构验证了 HF-KCU。在 Dirichlet(\(\alpha=0.5\)) 分区下的 CIFAR-10 上，HF-KCU 比重新训练实现了 47.75× 的加速，同时测试精度保持在重新训练基线的 0.60% 以内（71.16% 对比 71.76%）。对遗忘集的成员推断攻击成功率为 0.499，与重新训练模型匹配，确认了有效的隐私恢复。我们提供了收敛性保证，表明 Krylov 近似误差以 \(O((\sqrt{\kappa}-1)/(\sqrt{\kappa}+1))^k\) 的速度下降，其中 \(\kappa\) 是 Hessian 矩阵的条件数。因果加权机制确保了手术般的精确更新，只有持有被删除数据的客户端被修改，从而为未受影响的参与者保留了模型质量，并避免了异步联邦设置中基于梯度方法的不稳定性。这种设计提供了可解释性，因为每次更新都直接可追溯到被删除数据的影响。该方法的效率和精度使其适用于生产环境中删除请求异步到达且计算预算受限的联邦系统。

## 1 引言

隐私法规，包括 GDPR（欧洲联盟理事会和欧洲议会，2016 (https://arxiv.org/html/2605.20341#bib.bib26)）和 CCPA（加利福尼亚州立法机构，2018 (https://arxiv.org/html/2605.20341#bib.bib27)），赋予个人请求删除其个人数据的权利。对于机器学习系统，这一要求转化为*机器反学习*（Cao and Yang，2015 (https://arxiv.org/html/2605.20341#bib.bib5)），一种从已训练模型中移除特定训练示例影响的方法。朴素解决方案是每次删除后从头重新训练，但随着模型和数据集规模的增长，这变得不切实际。

联邦学习（McMahan et al.，2017 (https://arxiv.org/html/2605.20341#bib.bib1)）加剧了这一问题。训练在分布式客户端之间进行，无需集中原始数据，但当客户端请求数据删除时，系统必须移除该客户端的贡献，同时保留所有其他客户端的知识。完全重新训练需要重新协调所有剩余客户端，从而成倍增加通信和计算成本。

现有的联邦反学习方法面临困境。基于梯度上升（Golatkar et al.，2020 (https://arxiv.org/html/2605.20341#bib.bib28)）或噪声注入的方法速度快，但通常会严重降低模型精度。像 SISA（Bourtoule et al.，2021 (https://arxiv.org/html/2605.20341#bib.bib6)）这样的分片方案减少了重新训练的范围，但需要架构更改，并且仍然会产生相当大的开销。基于影响的方法（Koh and Liang，2017 (https://arxiv.org/html/2605.20341#bib.bib12)）提供了有原则的近似，但需要计算或求逆 Hessian 矩阵，对于具有数百万参数的现代神经网络来说，这是一个 \(O(d^3)\) 的操作，难以处理。最近关于联邦反学习的综述强调了在协作环境中移除数据影响的独特挑战，其中分布式数据所有权和隐私约束使传统的反学习方法复杂化（Liu et al.，2024 (https://arxiv.org/html/2605.20341#bib.bib4)；Tae and Chan，2025 (https://arxiv.org/html/2605.20341#bib.bib19)）

我们引入 HF-KCU（无 Hessian 矩阵的 Krylov 因果反学习），它通过共轭梯度（CG）迭代来近似基于影响的反学习。CG 求解线性系统 \(Hv = g\) 而无需显式构造 \(H\)，仅需要可通过自动微分在 \(O(d)\) 时间内计算的 Hessian-向量乘积。经过 \(k\) 次迭代后，CG 生成一个近似解 \(v_k \approx H^{-1}g\)，其误差受 Hessian 矩阵条件数约束。

一个关键贡献是我们的因果加权机制。在联邦设置中，天真地应用全局影响更新可能会引入对从未持有被删除数据的客户端的非预期参数变化。我们的加权方案为未受影响的客户端分配零更新，确保因果隔离。我们形式化地证明了这一性质，并进行了实证验证。此外，我们还在一个关键安全场景中验证了我们方法的实际效用，展示了其快速反学习后门攻击的能力，相对于重新训练实现了约 430 倍的加速，同时保持了模型性能。

**威胁模型**。为了避免夸大我们的鲁棒性声明，我们考虑有界对抗扰动而非无约束的自适应投毒。具体来说，我们假设对手可能会扰动 Hessian 矩阵和梯度，扰动具有有界范数（\(\|E\|_2 \leq \epsilon\)，\(\|e\|_2 \leq \rho\)）。这种有界设定对于反学习上下文是现实的，因为：(1) 无界对抗数据可能使局部最优解偏移过远，以至于影响函数所依赖的局部二次假设失效，从而使整个基于影响的框架无效；(2) 在联邦反学习中，对手的目标通常是阻止有效的数据移除，而非任意的模型投毒——有界扰动模拟了反学习过程中现实的噪声或轻微数据损坏；(3) 更强的威胁模型（例如，具有任意模型替换的拜占庭客户端）需要根本不同的防御机制（鲁棒聚合、安全多方计算），这些与反学习问题正交。我们的目标不是建立针对任意投毒攻击的完全极小极大鲁棒性，而是展示所提出的影响逆转机制在反学习操作本身可能出现的、有界对抗扰动下能够优雅地退化。

我们的贡献是：

- • 一种用于联邦反学习的无 Hessian 矩阵 Krylov 近似方法，每个客户端的复杂度为 \(O(kd)\)，其中 \(k \ll d\)（第 3 节）。
- • 一种因果加权机制，可证明地隔离未受影响的客户端（命题 7）。
- • 收敛性分析，表明对于良态问题，近似误差以 \(k\) 的指数速度下降（定理 4）。
- • 在 CIFAR-10 上的实验验证，展示了 47.75× 的加速，0.60% 的精度损失，以及成员推断攻击成功率与重新训练相匹配（第 5 节）。
- • 对忠实度度量的批判性分析，表明当精度差异较小时，参数空间度量可能不可靠（第 A.13 节）。
- • 我们在一个关键安全场景中验证了我们方法的实际效用，展示了其快速缓解后门攻击的能力，相对于重新训练实现了约 430 倍的加速，同时保持了模型性能。

## 2 背景与相关工作

### 2.1 机器反学习

Cao 等人（Cao and Yang，2015 (https://arxiv.org/html/2605.20341#bib.bib5)）将机器反学习形式化为无需完全重新训练即可高效移除训练数据影响的问题。早期工作针对特定模型类别：Ginart 等人（Ginart et al.，2019 (https://arxiv.org/html/2605.20341#bib.bib8)）为 k-means 聚类开发了反学习方法，而 Guo 等人（Guo et al.，2020 (https://arxiv.org/html/2605.20341#bib.bib7)）为线性模型引入了认证移除保证。

对于神经网络，方法分为三类。**基于梯度的方法**在遗忘集上应用梯度上升（Golatkar et al.，2020 (https://arxiv.org/html/2605.20341#bib.bib28)）或在保留集上微调（Tarun et al.，2023 (https://arxiv.org/html/2605.20341#bib.bib29)），但常常导致精度下降。**分片方法**如 SISA（Bourtoule et al.，2021 (https://arxiv.org/html/2605.20341#bib.bib6)）将数据划分到分片中，训练单独的模型，并在删除时仅重新训练受影响的分片。这减少了重新训练的范围，但需要集成架构，并且仍然会产生相当大的成本。**基于影响的方法**（Koh and Liang，2017 (https://arxiv.org/html/2605.20341#bib.bib12)）通过影响函数近似参数变化，但精确计算 \(H^{-1}g\) 需要 \(O(d^3)\) 次操作。

### 2.2 联邦学习

联邦学习（McMahan et al.，2017 (https://arxiv.org/html/2605.20341#bib.bib1)；Kairouz et al.，2021 (https://arxiv.org/html/2605.20341#bib.bib2)）支持跨分布式客户端进行协作训练。FedAvg 通过加权平均聚合本地模型更新，保持数据本地性。然而，客户端之间的数据异质性（非独立同分布分布）使收敛性分析复杂化，并为反学习引入了新的挑战。

### 2.3 联邦反学习

Liu 等人（Liu et al.，2021b (https://arxiv.org/html/2605.20341#bib.bib23)）提出了 FedEraser，它存储历史更新，并在移除客户端的贡献后重新校准全局模型。这需要相当大的存储开销，并假设更新保持可用。Wu 等人（Wu et al.，2022 (https://arxiv.org/html/2605.20341#bib.bib10)）探索了用于反学习的差分隐私机制，但存在效用损失。我们的工作不同之处在于使用影响近似，无需存储历史数据，同时保持精度接近重新训练。

### 2.4 影响函数与二阶方法

影响函数（Cook and Weisberg，1980 (https://arxiv.org/html/2605.20341#bib.bib13)；Koh and Liang，2017 (https://arxiv.org/html/2605.20341#bib.bib12)）量化了移除一个训练点对模型参数的影响。对于损失函数 \(\mathcal{L}(\theta)\) 和点 \(z\)，影响为 \(-H^{-1} \nabla_{\theta} \ell(\theta; z)\)，其中 \(H = \nabla_{\theta}^2 \mathcal{L}(\theta)\)。精确计算这一项是不切实际的，因此需要近似。

无 Hessian 矩阵优化（Martens，2010 (https://arxiv.org/html/2605.20341#bib.bib15)）使用共轭梯度来近似二阶更新，而无需构造 \(H\)。Pearlmutter（Pearlmutter，1994 (https://arxiv.org/html/2605.20341#bib.bib20)）表明，Hessian-向量乘积 \(Hv\) 可以通过自动微分在相当于一次梯度计算的时间内计算。我们基于这些技术构建高效的反学习方法。

## 3 方法

### 3.1 问题形式化

考虑一个拥有 \(N\) 个客户端的联邦学习系统，每个客户端持有本地数据集 \(\mathcal{D}_i\)。全局模型 \(\theta \in \mathbb{R}^d\) 最小化联邦目标函数：

\[
\mathcal{L}(\theta) = \sum_{i=1}^{N} w_i \ell_i(\theta; \mathcal{D}_i), \tag{1}
\]
其中 \(\ell_i\) 是客户端 \(i\) 的本地损失，\(w_i = |\mathcal{D}_i| / \sum_j |\mathcal{D}_j|\) 是与数据集大小成比例的聚合权重。

当客户端 \(f\) 请求删除数据 \(\mathcal{D}_u \subseteq \mathcal{D}_f\) 时，目标是计算参数 \(\theta_u\)，使其近似于通过求解以下问题得到的重新训练模型 \(\theta_r\)：

\[
\theta_r = \operatorname{argmin}_{\theta} \sum_{i \neq f} w_i \ell_i(\theta; \mathcal{D}_i) + w_f \ell_f(\theta; \mathcal{D}_f \setminus \mathcal{D}_u). \tag{2}
\]
重新训练需要 \(O(T \cdot N \cdot d)\) 次操作（\(T\) 个通信轮次）。我们的目标是使用 \(O(k \cdot d)\) 次操作来近似 \(\theta_r\)，其中 \(k \ll T \cdot N\)。

### 3.2 基于影响的反学习

影响函数理论（Koh and Liang，2017 (https://arxiv.org/html/2605.20341#bib.bib12)）提供了一阶近似。移除数据 \(\mathcal{D}_u\) 引起的参数变化为：

\[
\Delta\theta = -H^{-1} \nabla_{\theta} \ell(\theta; \mathcal{D}_u), \tag{3}
\]
其中 \(H = \nabla_{\theta}^2 \mathcal{L}(\theta)\) 是全局损失的 Hessian 矩阵。当 \(\mathcal{D}_u\) 相对于完整数据集较小且损失在最优解附近近似为二次时，此近似有效。

精确计算式 (3) 需要求逆 \(H \in \mathbb{R}^{d \times d}\)，这需要 \(O(d^3)\) 时间和 \(O(d^2)\) 内存——对于参数规模 \(d \sim 10^6\) 到 \(10^9\) 的神经网络来说是不切实际的。

### 3.3 Krylov 子空间近似

我们通过使用共轭梯度（CG）迭代求解 \(Hv = g\) 来近似 \(v = H^{-1}g\)。CG 在 Krylov 子空间中构建近似解：

\[
\mathcal{K}_k(H, g) = \text{span}\{g, Hg, H^2g, \ldots, H^{k-1}g\}. \tag{4}
\]
关键洞察在于 CG 仅需要矩阵-向量乘积 \(Hv\)，而非 \(H\) 本身。对于神经网络，我们通过自动微分计算 \(Hv\)：

\[
Hv = \nabla_{\theta} \left[ \nabla_{\theta} \mathcal{L}(\theta)^{\top} v \right], \tag{5}
\]
每次迭代的成本为 \(O(d)\)——与计算一次梯度相同。

经过 \(k\) 次迭代后，CG 产生 \(v_k\)，满足：

\[
\| v_k - H^{-1}g \|_H \leq 2 \left( \frac{\sqrt{\kappa} - 1}{\sqrt{\kappa} + 1} \right)^k \| H^{-1}g \|_H, \tag{6}
\]
其中 \(\kappa = \lambda_{\max}(H) / \lambda_{\min}(H)\) 是条件数，\(\|x\|_H = \sqrt{x^{\top} H x}\) 是能量范数。对于良态问题（\(\kappa \approx 1\)），收敛速度很快；对于病态问题，我们应用阻尼（第 A.2 节）。

**精确 vs. 近似影响**。虽然阻尼（\(H_{\text{damped}} = H + \lambda I\)）确保了数值稳定性并限制了条件数 \(\kappa\)，但它引入了与 \(\lambda\) 成正比的偏差。这种偏差-方差权衡意味着我们的方法从精确影响逆转过渡到近似影响逆转。阻尼参数 \(\lambda\) 控制这一权衡：较小的 \(\lambda\) 减少偏差但可能导致数值不稳定，而较大的 \(\lambda\) 以提高近似精度为代价改善稳定性。

### 3.4 面向联邦设置的因果加权

在联邦学习中天真地应用式 (3) 会计算一个全局更新并将其广播给所