DP-MacAdam：具有自适应裁剪和自适应动量的差分隐私机制

# DP-MacAdam：具有自适应裁剪和自适应动量的差分隐私机制
来源：https://arxiv.org/html/2606.05435
###### 摘要

差分隐私随机梯度下降（DP-SGD）已成为隐私保护机器学习中的标准框架，但其依赖固定的梯度裁剪阈值来限制敏感度，这一作法在实际应用中仍是一个重大局限。诸如AdaClip之类的自适应裁剪算法，在裁剪和添加噪声之前对梯度进行平移和缩放，使得裁剪后的梯度能提供更具信息量的下降方向。其中平移和缩放参数根据经验均值和方差自适应选择。然而，在现有的自适应裁剪算法中，这些经验估计并未同时用于加速训练本身的动量。另一方面，DP-Adam是一种利用基于梯度均值和方差的Adam式动量更新来加速训练的算法，但并未利用这些估计进行自适应裁剪。在这项工作中，我们提出了具有自适应裁剪和自适应动量的差分隐私机制（DP-MacAdam），这是一种新颖的算法，它将这两种方法结合起来，使用相同的均值和方差估计来同时进行裁剪和动量更新。我们通过分析表明，DP-MacAdam能以无偏的方式估计梯度方差。此外，我们通过实验评估了DP-MacAdam的隐私性和准确性，证明与DP-SGD、AdaClip和DP-Adam基线相比，它在无需手动调整裁剪阈值的情况下实现了更好的模型效用。

## I 引言

在敏感数据上训练的机器学习模型的普及，使得隐私保护优化成为现代深度学习中的核心问题。差分隐私（DP）[1 (https://arxiv.org/html/2606.05435#bib.bib1)]已成为正式隐私保障的金标准，它能提供严谨、数学上可证明的保护，防止单个训练样本的信息泄露。在深度学习的背景下，DP最常通过DP-SGD[2 (https://arxiv.org/html/2606.05435#bib.bib2)]实现，该算法裁剪每个样本的梯度以限制其敏感度，并在每次参数更新前注入校准的高斯噪声。虽然DP-SGD提供了强有力的理论保证，但其经验性能通常落后于现代自适应优化器，这促使了Adam的差分隐私变体[3 (https://arxiv.org/html/2606.05435#bib.bib3),4 (https://arxiv.org/html/2606.05435#bib.bib4)]的发展。

Adam优化器维护随机梯度一阶矩和二阶矩的指数移动平均（EMA），从而产生逐坐标的自适应学习率。对于包括图像和自然语言处理在内的各种机器学习任务，Adam始终优于SGD，现已成为训练大型模型的默认迭代优化算法。因此，很自然地将Adam应用于差分隐私设置，方法是将私有化后的梯度直接输入其更新规则，由此产生DP-Adam算法[5 (https://arxiv.org/html/2606.05435#bib.bib5)]。

然而，DP-SGD及其基于Adam的变体都存在一个关键限制：对固定梯度裁剪阈值 \(C\) 的依赖。在实践中，\(C\) 的选择会严重影响隐私-效用权衡：阈值过小会因过度裁剪而丢弃信号，阈值过大则会增加敏感度并迫使注入更多噪声。Pichapati 等人[6 (https://arxiv.org/html/2606.05435#bib.bib6)]通过AdaClip解决了这一限制，这是一种有理论依据的自适应裁剪策略，它维护梯度均值和方差的逐坐标指数移动估计，并在每次迭代中动态地使用这些估计来对梯度进行居中、缩放和裁剪。通过使裁剪几何适应局部梯度分布，AdaClip理论上能减少每轮迭代的预期噪声添加量（与各向同性的 \(\ell_2\) 裁剪相比），从而在相同的隐私预算下实现更好的模型效用。

DP-Adam和AdaClip这两种方法解决了DP-SGD的关键但互补的限制。DP-Adam维护梯度均值和二阶矩的滚动估计，并使用它们计算自适应的逐坐标参数更新。然而，DP-Adam仍然依赖标准裁剪，放弃了自适应裁剪带来的噪声减少优势。另一方面，AdaClip维护梯度均值和方差的逐坐标估计以执行自适应裁剪并减少添加的噪声，但在预处理后丢弃了这些统计量，退化为普通的SGD更新，使得自适应信息未被利用。因此，在差分隐私下结合自适应裁剪和自适应动量更新仍然是一个未探索的领域。

我们提出了DP-MacAdam（具有自适应裁剪和自适应动量的差分隐私机制），它结合了自适应裁剪和自适应动量。关键在于，这种结合不会带来额外的隐私成本，因为所有的矩估计完全来自私有化后的梯度，因此根据DP的后处理性质满足 \((\epsilon, \delta)\)-DP。

主要贡献。我们的主要贡献是：

- 我们提出了DP-MacAdam，这是首个在差分隐私保证下，将AdaClip式的逐坐标自适应裁剪与Adam式的自适应动量相结合的算法。
- 我们推导了一个新颖的偏差校正因子，该因子可以从噪声校正后的瞬时方差估计的EMA中得到梯度方差的无偏估计，同时考虑了DP噪声膨胀和EMA初始化偏差。
- 我们通过实验证明，在一系列隐私预算下，DP-MacAdam在MNIST和CIFAR-10数据集上优于最先进的DP优化器，且无需手动调整裁剪阈值或进行降维作为预处理步骤。

相关工作。差分隐私随机梯度下降由 Abadi 等人[2 (https://arxiv.org/html/2606.05435#bib.bib2)]提出，确立了逐样本梯度裁剪后加高斯噪声的标准流程。Adam优化器的收敛性质由Kingma和Ba[3 (https://arxiv.org/html/2606.05435#bib.bib3)]建立，后来由Bock等人[4 (https://arxiv.org/html/2606.05435#bib.bib4)]改进。DP-Adam首次在TensorFlow Privacy[7 (https://arxiv.org/html/2606.05435#bib.bib7)]中作为Adam在DP设置下的直接扩展引入。Tang等人[5 (https://arxiv.org/html/2606.05435#bib.bib5)]指出了Adam二阶矩估计器中的DP噪声偏差，并提出了DP-AdamBC作为修正。Choi等人[8 (https://arxiv.org/html/2606.05435#bib.bib8)]通过引入解耦权重衰减扩展了这项工作，产生了DP-AdamW和DP-AdamW-BC，在图像、文本和图分类任务上具有改进的经验性能。Pichapati等人[6 (https://arxiv.org/html/2606.05435#bib.bib6)]通过AdaClip提出了DP-SGD的自适应裁剪策略，该策略使用逐坐标梯度统计量来最小化每轮迭代添加的预期噪声范数。Gilani等人[9 (https://arxiv.org/html/2606.05435#bib.bib9)]通过GeoClip推广了这一思想，该算法在变换后的基中裁剪和扰动梯度，理论上与各向同性裁剪相比减少了添加的噪声。

## II 问题设置

我们简要回顾一些相关定义。令 \(\mathcal{D} = \left\{ (x^{(i)}, y^{(i)}) \right\}_{i=1}^{n}\) 表示一个由 \(n\) 个独立同分布样本组成的数据集，其中 \(x^{(i)} \in \mathcal{X}\) 且 \(y^{(i)} \in \mathcal{Y}\)。给定参数化模型 \(\theta \in \mathbb{R}^d\) 和损失函数 \(\ell: \mathbb{R}^d \times \mathcal{X} \times \mathcal{Y} \mapsto \mathbb{R}\)，目标是找到最小化经验风险 \(\mathcal{L}(\theta) = \frac{1}{n} \sum_{i=1}^{n} \ell(\theta; x^{(i)}, y^{(i)})\) 的模型参数 \(\theta\)。为简化符号，当指代一个通用样本 \(x\) 及其相关量时，我们省略上标 \((i)\)。

两个数据集 \(\mathcal{D}\) 和 \(\tilde{\mathcal{D}}\) 被认为是邻居数据集，记为 \(\mathcal{D} \sim \tilde{\mathcal{D}}\)，如果它们最多相差一个条目。差分隐私（DP）相对于所有这样的邻居数据集定义如下。

###### 定义 1 (差分隐私 [1 (https://arxiv.org/html/2606.05435#bib.bib1)])

一个随机化算法或机制 \(\mathcal{A}: (\mathcal{X} \times \mathcal{Y})^n \to \mathcal{S}\) 被认为是 \((\epsilon, \delta)\)-差分隐私（简称 \((\epsilon, \delta)\)-DP），如果对于每一对邻居数据集 \(\mathcal{D} \sim \tilde{\mathcal{D}} \in (\mathcal{X} \times \mathcal{Y})^n\) 和所有 \(S \subseteq \mathcal{S}\)，有：

\[
\Pr\{\mathcal{A}(\mathcal{D}) \in S\} \leq e^{\epsilon} \Pr\{\mathcal{A}(\tilde{\mathcal{D}}) \in S\} + \delta.
\tag{1}
\]

### II-A 私有优化与梯度裁剪

经验风险可以使用多种一阶优化方法来最小化，这些方法在利用梯度 \(g = \nabla_{\theta} \ell(\theta; x, y)\) 更新模型参数的方式上有所不同。在基于梯度的优化中强制实现DP的标准方法是限制每个梯度更新的敏感度。给定时间步 \(t\) 的每个样本梯度 \(g_t\)，\(\ell_2\) 敏感度通过裁剪来控制：

\[
\bar{g}_t = \frac{g_t}{\max\left(1, \|g_t\|_2 / C\right)},
\tag{2}
\]

这保证了对于固定的裁剪阈值 \(C > 0\)，有 \(\|\bar{g}_t\|_2 \leq C\)。然后向裁剪后的梯度添加高斯噪声 \(z_t \sim \mathcal{N}(0, \sigma^2 C^2 I_d)\)，得到私有化估计 \(\tilde{g}_t = \bar{g}_t + z_t\)，该估计通过高斯机制[1 (https://arxiv.org/html/2606.05435#bib.bib1)]满足 \((\epsilon, \delta)\)-DP。

使用私有化梯度 \(\tilde{g}_t\)，DP-SGD[2 (https://arxiv.org/html/2606.05435#bib.bib2)] 沿负梯度方向更新模型参数：

\[
\theta_t = \theta_{t-1} - \eta \tilde{g}_t,
\tag{3}
\]

其中 \(\eta\) 是学习率。DP-Adam[7 (https://arxiv.org/html/2606.05435#bib.bib7)] 将 Adam 优化器[3 (https://arxiv.org/html/2606.05435#bib.bib3),4 (https://arxiv.org/html/2606.05435#bib.bib4)] 扩展到差分隐私设置，通过维护私有化梯度及其二阶矩的指数移动平均：

\[
\begin{aligned}
m_t &= \beta_1 m_{t-1} + (1 - \beta_1) \tilde{g}_t, \\
v_t &= \beta_2 v_{t-1} + (1 - \beta_2) \tilde{g}_t^2,
\end{aligned}
\tag{4}
\]

其中 \(\beta_1, \beta_2\) 是指数衰减率。在计算偏差校正后的估计 \(\hat{m}_t = m_t / (1 - \beta_1^t)\) 和 \(\hat{v}_t = v_t / (1 - \beta_2^t)\) 后，DP-Adam 使用下式更新模型参数：

\[
\theta_t = \theta_{t-1} - \eta \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \gamma},
\tag{5}
\]

其中 \(\gamma\) 是稳定性常数。

### II-B 自适应裁剪

DP-SGD 和 DP-Adam 都依赖于一个固定的、各向同性的裁剪阈值 \(C\)，该阈值统一应用于所有梯度坐标以限制 \(\ell_2\) 敏感度。如引言所述，选择 \(C\) 以避免过度裁剪或裁剪不足是一个挑战。Pichapati 等人[6 (https://arxiv.org/html/2606.05435#bib.bib6)] 通过 AdaClip 解决了这个问题，这是一种逐坐标的自适应裁剪策略，它首先使用梯度均值 \(m_t \in \mathbb{R}^d\) 和缩放因子 \(b_t \in \mathbb{R}^d\) 的滚动估计来对梯度进行居中并缩放：

\[
w_t = \frac{g_t - m_t}{b_t}, \qquad \bar{w}_t = \frac{w_t}{\max(1, \|w_t\|_2)},
\tag{6}
\]

确保变换后具有单位 \(\ell_2\) 范数敏感度。向裁剪后的变换后梯度添加高斯噪声，并将结果映射回原始梯度空间：

\[
\tilde{g}_t = b_t \odot \left( \bar{w}_t + z_t \right) + m_t.
\tag{7}
\]

然后，私有化梯度 \(\tilde{g}_t\) 被用于梯度下降步骤。通过在裁剪之前逐坐标地居中并缩放梯度，AdaClip 将噪声预算集中到方差较大的维度——在这些维度上噪声影响最大——而对信息量少的维度添加较少的噪声。这被证明与固定的 \(\ell_2\) 裁剪相比，可以减少每轮迭代的总噪声添加量，并且该优势随着参数维度 \(d\) 的增加而增加。

## III 具有自适应动量的自适应裁剪差分隐私机制 (DP-MacAdam)

我们在算法1 (https://arxiv.org/html/2606.05435#alg1) 中介绍 DP-MacAdam，该算法将 AdaClip[6 (https://arxiv.org/html/2606.05435#bib.bib6)] 的逐坐标自适应裁剪策略与 Adam[3 (https://arxiv.org/html/2606.05435#bib.bib3)] 的自适应动量更新在差分隐私下相结合。DP-MacAdam 有几个关键特性。首先，我们不象 AdaClip 那样对噪声校正后的瞬时方差估计 \(u_t\) 进行有界处理，而是将其以与均值估计 \(m_t\) 相同的衰减率 \(\beta_1\) 输入到指数移动平均 \(s_t\) 中。其次，为了确保 \(s_t\) 是 \(\tilde{g}_t\) 的无偏估计，我们必须考虑由过去估计的加权平均引入的偏差。我们在附录A (https://arxiv.org/html/2606.05435#A1) 中推导了该偏差校正因子 \(\kappa_t = 2(\beta_1 - \beta_1^t) / (1 + \beta_1)\)。为了确保 \(\hat{s}_t\) 有下界和上界，我们将其钳位在常数 \(h_1\) 和 \(h_2\) 之间。最后，偏差校正后的估计 \(\hat{s}_t\) 用于按照 AdaClip[6 (https://arxiv.org/html/2606.05435#bib.bib6)] 中使用的公式更新自适应缩放向量 \(b_t\)。我们将基于我们的 EMA 方差估计的最优 \(b_t\) 选择的推导留待未来工作。

**算法 1** DP-MacAdam

1: **输入：** 数据集 \(\mathcal{D}\)，学习率 \(\eta\)，噪声乘数 \(\sigma\)，批次大小 \(B\)，超参数 \(\beta_1, \beta_2, h_1, h_2\)，稳定性常数 \(\gamma\)，迭代次数 \(T\)
2: **输出：** \(\theta_T\)
3: **初始化：** \(\theta_0\); \(m_0 = \mathbf{0}, \hat{m}_0 = \mathbf{0}, v_0 = \mathbf{0}, s_0^2 = \mathbf{0}, b_0 = (1/d) \cdot \mathbf{1}\)
4: **for** \(t = 1\) **to** \(T\) **do**
5: 采样小批量 \(\mathcal{B}_t = \left\{ (x_t^{(i)}, y_t^{(i)}) \right\}_{i=1}^{B}\)
6: **for** \(i = 1\) **to** \(B\) **do**
7: \(g_t^{(i)} \leftarrow \nabla_\theta \ell\left( \theta_{t-1}; x_t^{(i)}, y_t^{(i)} \right)\)
8: \(w_t^{(i)} \leftarrow \dfrac{g_t^{(i)} - \hat{m}_{t-1}}{b_{t-1}}\)
9: \(\bar{w}_t^{(i)} \leftarrow \dfrac{w_t^{(i)}}{\max\left(1, \|w_t^{(i)}\|_2\right)}\)