重新审视DP-SGD的可证明-可审计隐私差距

# 重新审视 DP-SGD 的可证明-可审计隐私差距  
来源：https://arxiv.org/html/2608.28934  
Srivi Balaji††thanks:德克萨斯大学奥斯汀分校，[email protected]。Srivi 与 Yusong 贡献均等。Yusong Zhu††thanks:德克萨斯大学奥斯汀分校，[email protected]。Srivi 与 Yusong 贡献均等。Gautam Kamath††thanks:滑铁卢大学与 Vector 研究所，[email protected]。获加拿大 CIFAR AI 主席职位、NSERC 发现基金及安大略早期研究员奖支持。Kevin Tian††thanks:德克萨斯大学奥斯汀分校，[email protected]  

###### 摘要  
差分隐私（DP）传统上用于为算法在改变训练数据时的稳定性提供理论上界。在现代私密机器学习应用中，实现效用与理论隐私之间的强权衡颇具挑战，因此人们可能乐观地期望现有理论隐私分析是宽松的。近期关于*隐私审计*的工作采用了双重视角，即通过构建经验性区分事件来下界算法的真实隐私。审计文献至今对 DP‑SGD（现代机器学习中事实上的私密训练方法）的理论隐私界宽松性持悲观态度，因为在各种威胁模型下已实现几乎匹配的经验下界 [48, 5, 14]。本工作中，我们提出将算法的经验隐私下界作为具体优化指标，与理论上界互补。我们给出一个轻量级防御框架，能通用性增强机器学习流水线中的优化方法，在标准基准测试中显著提升经验隐私。此外，我们证明该框架在增强 DP‑SGD 时*不产生理论隐私代价*，不同于先前提出的防御成员推断攻击的方法。我们通过广泛的审计构造、模型和数据集评估防御，以展示其灵活性。  

###### 目录  
1. [1 引言](https://arxiv.org/html/2608.28934#S1)  
   1. [1.1 动机](https://arxiv.org/html/2608.28934#S1.SS1)  
   2. [1.2 我们的贡献](https://arxiv.org/html/2608.28934#S1.SS2)  
   3. [1.3 讨论](https://arxiv.org/html/2608.28934#S1.SS3)  
   4. [1.4 先前工作](https://arxiv.org/html/2608.28934#S1.SS4)  
2. [2 概述](https://arxiv.org/html/2608.28934#S2)  
   1. [2.1 预备知识](https://arxiv.org/html/2608.28934#S2.SS1)  
   2. [2.2 威胁模型](https://arxiv.org/html/2608.28934#S2.SS2)  
   3. [2.3 框架](https://arxiv.org/html/2608.28934#S2.SS3)  
   4. [2.4 衡量经验隐私](https://arxiv.org/html/2608.28934#S2.SS4)  
3. [3 通过样本签名的过滤隐私](https://arxiv.org/html/2608.28934#S3)  
   1. [3.1 分析](https://arxiv.org/html/2608.28934#S3.SS1)  
   2. [3.2 DP‑SGD 的变体](https://arxiv.org/html/2608.28934#S3.SS2)  
4. [4 隐私保护的经验私密学习](https://arxiv.org/html/2608.28934#S4)  
   1. [4.1 实验与审计设置](https://arxiv.org/html/2608.28934#S4.SS1)  
   2. [4.2 输入空间攻击](https://arxiv.org/html/2608.28934#S4.SS2)  
   3. [4.3 仅标签攻击](https://arxiv.org/html/2608.28934#S4.SS3)  
   4. [4.4 防御感知的输入空间攻击](https://arxiv.org/html/2608.28934#S4.SS4)  
   5. [4.5 梯度空间攻击](https://arxiv.org/html/2608.28934#S4.SS5)  
5. [参考文献](https://arxiv.org/html/2608.28934#bib)  
6. [附录 A 经验隐私报告细节](https://arxiv.org/html/2608.28934#A1)  
   1. [A.1 启发式约定及其（潜在）陷阱](https://arxiv.org/html/2608.28934#A1.SS1)  
   2. [A.2 数值精度](https://arxiv.org/html/2608.28934#A1.SS2)  
7. [附录 B 差异影响](https://arxiv.org/html/2608.28934#A2)  
8. [附录 C 替代输入空间审计](https://arxiv.org/html/2608.28934#A3)  
   1. [C.1 单次运行审计](https://arxiv.org/html/2608.28934#A3.SS1)  
   2. [C.2 组隐私审计](https://arxiv.org/html/2608.28934#A3.SS2)  
9. [附录 D 样本签名](https://arxiv.org/html/2608.28934#A4)  
10. [附录 E 泊松与洗牌子采样](https://arxiv.org/html/2608.28934#A5)  
11. [附录 F 插值金丝雀](https://arxiv.org/html/2608.28934#A6)  
12. [附录 G 隐私洋葱效应：我们是否暴露了他人？](https://arxiv.org/html/2608.28934#A7)  
13. [附录 H 增加试验次数](https://arxiv.org/html/2608.28934#A8)  
14. [附录 I 附加超参数调优](https://arxiv.org/html/2608.28934#A9)  
    1. [I.1 全局过滤消融](https://arxiv.org/html/2608.28934#A9.SS1)  
    2. [I.2 变化局部过滤防御带宽消融](https://arxiv.org/html/2608.28934#A9.SS2)  
    3. [I.3 变化过滤频率消融](https://arxiv.org/html/2608.28934#A9.SS3)  
15. [附录 J 跨审计方法的完整经验隐私结果](https://arxiv.org/html/2608.28934#A10)  

## 1 引言  
机器学习（ML）模型易受多种隐私威胁 [34, 58, 13]，这已有充分记录。为应对此类威胁，差分隐私（DP）[22] 作为严格的数据隐私概念得到广泛采用。该概念通常表述为上界（定义 1）：对于算法 \(A:S^* \rightarrow \Omega\)，DP 限定 \(\varepsilon^{\star}(\delta) := \log \left( \sup_{\substack{\mathcal{D},\mathcal{D}^{\prime} \in \mathcal{S}^* \\ \text{neighboring}}} \sup_{\mathcal{E} \subseteq \Omega} \frac{\Pr[\mathcal{A}(\mathcal{D}) \in \mathcal{E}] - \delta}{\Pr[\mathcal{A}(\mathcal{D}^{\prime}) \in \mathcal{E}]} \right)\)。量 \(\varepsilon^{\star}(\delta)\) 可视为算法 \(\mathcal{A}\) 在失败概率 \(\delta\) 下的“真实隐私”参数，因为它由具体的相邻数据集 \(\mathcal{D},\mathcal{D}^{\prime}\) 1 及审计 \(\mathcal{E} \in \Omega\) 实现（或为其极限）。已有多种技术被开发用于上界 \(\varepsilon^{\star}\)。例如，现代 DP‑SGD [60, 8, 1] 的隐私分析通过（高级）组合 [24, 23] 进行，有时基于替代度量如 Rényi 差分隐私（RDP）[1, 46]。我们非正式地用 \(\varepsilon_{\textup{ub}}(\delta)\) 表示由现有记账技术得出的（1）的最紧上界。  

隐私记账存在多种松散方式。一个简单例子是隐私定义转换中的信息损失。一个更微妙的例子涉及*威胁模型*：对于自适应生成一系列私有模型 \(M_1, M_2, \ldots, M_T\) 的算法（如 DP‑SGD），我们应视其输出 \(\Omega\) 为何种对象？一种定义 \(\Omega\) 的方式是将其视为 \(T\) 个模型实例的乘积。这隐含于标准（基于组合的）DP 分析中，此时 \(\varepsilon^{\star}(\delta)\) 的上界即使 \(\mathcal{E}\) 依赖所有中间模型也成立。然而，更现实的情况是假设仅发布最终模型 \(M_T\)（亦称“隐藏状态模型”[68, 14]），甚至我们对 \(M_T\) 的访问受限（例如查询访问而非完整模型权重），此时（1）中可行的审计 \(\mathcal{E}\) 可能严重受限。确实，近期理论已阐明改变威胁模型可（显著）增强隐私的场景 [68, 3]。  

### 1.1 动机  
有充分理由期望当前 DP 记账显著高估了真实隐私 \(\varepsilon^{\star}\)。为保持可接受效用，当前 DP 优化器必须妥协于较大的隐私参数，这已有充分记录。例如，文献 [19] 的图 1(a) 概括了 CIFAR‑10 上私密训练的近期最先进精度。在强可证隐私 \(\varepsilon_{\textup{ub}} \approx 1\) 下，最佳精度仅为 60% [64]，而无隐私最先进精度为 99%+。另一方面，达到 >80% 的适度精度则需大得多的 \(\varepsilon_{\textup{ub}} \approx 8\)。如此大的 \(\varepsilon_{\textup{ub}}\) 的最坏情况影响存疑，因为 \(\exp(8) \approx 3000\)。乐观而言，真实隐私参数是否可能远小于当前理论预测？一个密切相关的问题是：实践者如何更好地考量真实隐私 \(\varepsilon^{\star}\)，并纳入威胁模型？这正是我们工作解决的关键概念问题。  

受隐私审计工作 [35, 50] 启发，我们提议采用以下更具操作性的“经验隐私”量作为算法设计的显式指标：  
\[
\varepsilon_{\textup{lb}}(\delta) := \log \left( \sup_{\mathcal{D} \in \mathcal{S}^n} \sup_{\text{canary } c} \sup_{\mathcal{E} \in \mathcal{T}} \max \left( \frac{\Pr[\mathcal{A}(\mathcal{D}^c) \in \mathcal{E}] - \delta}{\Pr[\mathcal{A}(\mathcal{D}) \in \mathcal{E}]}, \frac{\Pr[\mathcal{A}(\mathcal{D}) \in \mathcal{E}] - \delta}{\Pr[\mathcal{A}(\mathcal{D}^c) \in \mathcal{E}]} \right) \right).
\]  
在（2）中，\(c \in \mathcal{S}\) 是“金丝雀”样本，\(\mathcal{T}\) 表示审计族，\(\mathcal{E}\) 的目标是在数据集 \(\mathcal{D}\) 中检测 \(c\) 的存在，其中 \(\mathcal{D}^c := \mathcal{D} \cup \{c\}\)。在最强可能的 \(\mathcal{D}, c, \mathcal{E}\) 下，量（1）与（2）相同。实践中，我们无法总找到此最优三元组（例如范围 \(\Omega\) 通常无限），故估计的 \(\varepsilon_{\textup{lb}}\) 仅为 \(\varepsilon^{\star}\) 的下界。尽管如此，通过优化广泛的 \((\mathcal{D}, c, \mathcal{E})\) 族，有望获得接近紧的*可证下界*关于 \(\varepsilon^{\star}(\delta)\)。  

我们在第 2.4 节回顾标准审计方法学。典型设置涉及误标或分布外金丝雀 \(c\)，以及通过阈值化最终模型标记 \(c\) 时的损失值进行的审计。直观上，若 \(c\) 被记忆，则其将被正确分类，因而产生远低于模型从未见过 \(c\) 时的损失。关于审计 DP‑SGD 的现有工作（可说是 ML 中研究最充分的私密训练算法）却令人惊讶地悲观：在广泛威胁模型下可实现接近紧的审计（例如认证 \(\varepsilon_{\textup{lb}}\) 在 \(\varepsilon_{\textup{ub}}\) 的 30% 因子内）。  

### 1.2 我们的贡献  
我们的工作在更准确衡量真实隐私（1）及在现实威胁模型下设计具有改进经验隐私的算法方面做出两项主要贡献：  
- 我们开创*可审计隐私下界* \(\varepsilon_{\textup{lb}}\) 作为算法目标正式指标的研究。此研究方向应视为现有 DP 算法工作的补充，后者侧重设计享有更小 \(\varepsilon_{\textup{ub}}\) 的方法。  
- 我们开发算法框架以显著改进 \(\varepsilon_{\textup{lb}}\)，该改进由隐藏状态、输入空间威胁模型（参见第 2.2 节）下的最先进审计估计。我们的框架是一个轻量级基于过滤的包装器（参见第 2.3 节），经精心设计，当应用于广泛的流行 DP‑SGD 变体时，保持相同的可证 \(\varepsilon_{\textup{ub}}\)。经验度量具脆性 [59, 11, 12, 2]，故其保证推理需谨慎。在第 1.3 节，我们讨论 \(\varepsilon_{\textup{lb}}\)（2）作为定义的广泛含义。我们在此观察到，针对（2）的算法设计空间必须超越 DP‑SGD。事实上，尽管研究长达十年，尚无算法在 \(\varepsilon_{\textup{ub}}\)-效用权衡上取代（泊松子采样）DP‑SGD。该算法也具紧密可审计性 [50, 48, 5, 14]，但需注意现有审计几乎完全针对 DP‑SGD 的**完整模型发布**威胁模型。