减少信息依赖并不会导致训练数据隐私问题。真正的原因是对抗性非鲁棒特征

# 减少信息依赖并不会带来训练数据隐私。带来隐私的是对抗性非鲁棒特征。来源：https://arxiv.org/html/2607.12354  
\declaretheorem\[name=Theorem, sibling=theorem\]rThm  
\declaretheorem\[name=Lemma, sibling=theorem\]rLem  
\declaretheorem\[name=Corollary, sibling=theorem\]rCor  

Rasmus Torp  
计算机科学系  
达特茅斯学院  
rasmus\.torp\.gr@dartmouth\.edu  

&Shailen K\. Smith¹  
计算机科学系  
达特茅斯学院  
shailen\.k\.smith\.gr@dartmouth\.edu  

&Adam Breuer²  
²Breuer实验室感谢OpenAI网络安全基金的资助。  
复现代码可在https://github.com/BreuerLabs/Anti-Adversarial-Training获取  
计算机科学系 & 政府系  
达特茅斯学院  
adam\.breuer@dartmouth\.edu  

###### 摘要  
在本文中，我们挑战了主流观点，即信息依赖（包括死记硬背）是导致训练数据暴露于图像重建攻击的主要原因。我们证明，大量的暴露可以在没有死记硬背的情况下持续存在，反而由与对抗鲁棒性相关的可调连接所引起。我们首先展示三个令人惊讶的结果：(1) 近期通过模型逆向攻击（MIA）抑制重建的防御方法，在理想化攻击者评估下，并未减少标准的信息依赖度量（HSIC）；(2) 最大化记忆训练数据集的模型仍然对MIA重建具有鲁棒性；(3) 在未见过97%训练像素的情况下训练的模型——根据最近的信息论边界，在标准假设下能提供任意强的隐私保证——仍然可能被MIA严重重建。为解释这些发现，我们提供了因果证据：MIA下的隐私实际上源于对抗样本文献所称的“非鲁棒”特征（可泛化但不可感知且不稳定的特征）。我们进一步证明，最近的MIA防御方法通过无意中使模型转向此类特征来获得隐私提升。为了建立这种因果关系，我们引入了反对抗训练（AT-AT![[无标题图片]](https://arxiv.org/html/2607.12354v1/dareDEVALII/Figures/ATATiconV4.png)），一种有意学习非鲁棒特征的训练范式，从而在重建防御和准确率上均优于最先进的防御方法。我们的结果修正了对训练数据暴露的主流理解，并揭示了一种新的隐私-鲁棒性权衡。

## 1 引言  
当代机器学习的一个基础目标是学习*可泛化*的模型参数，同时不以*暴露*于泄漏的方式编码私有训练数据集。然而，快速扩展的一类实际隐私攻击已在多种学习设置和模型架构中证明了私有训练数据的重建能力。最近的训练数据隐私攻击变种不仅适用于CNN（Struppek等人，2022 (https://arxiv.org/html/2607.12354#bib.bib36)；Carlini等人，2022 (https://arxiv.org/html/2607.12354#bib.bib147)；Mehnaz等人，2022 (https://arxiv.org/html/2607.12354#bib.bib13)；Yeom等人，2018 (https://arxiv.org/html/2607.12354#bib.bib338)；Shokri等人，2017 (https://arxiv.org/html/2607.12354#bib.bib136)），还适用于LLM（Shi等人，2024 (https://arxiv.org/html/2607.12354#bib.bib15)；Nasr等人，2023 (https://arxiv.org/html/2607.12354#bib.bib350)；Carlini等人，2021 (https://arxiv.org/html/2607.12354#bib.bib14)）和扩散模型（Carlini等人，2023 (https://arxiv.org/html/2607.12354#bib.bib76)）。在这一攻击全景中，模型逆向攻击（MIA）已成为研究和评估训练数据暴露的主流工具，特别是在高分辨率图像分类领域。与更保守的仅探测某些暴露训练示例是否存在的攻击不同，MIA测试了强大的攻击者在拥有白盒模型访问权限以及大量计算和数据资源的情况下，能从训练示例中重建信息的程度。早期MIA使用SGD直接优化单个训练示例的重建（Fredrikson等人，2015 (https://arxiv.org/html/2607.12354#bib.bib218)），而当代MIA则使用复杂的梯度技术和外部数据，试图推断目标模型训练数据中每个类别的完整类别级特征（Qiu等人，2024 (https://arxiv.org/html/2607.12354#bib.bib300)；Struppek等人，2022 (https://arxiv.org/html/2607.12354#bib.bib36)；Haim等人，2022 (https://arxiv.org/html/2607.12354#bib.bib30)）。然而，虽然MIA给出了当代视觉模型暴露训练数据至重建程度的下界，但它们并未解释模型的哪个方面编码了这种脆弱性，或如何防止它。这就提出了一个基本问题：

> 学习表示的哪些属性编码了训练数据泄漏和重建的脆弱性？如何控制这些属性？

⋄⁣⋄⁣⋄\\diamond\\ \\diamond\\ \\diamond 理解这些属性对学习具有深远影响，超出了隐私领域。例如，近期的有影响力工作推测，获得更强的学习性能可能需要模型与训练数据之间*更多*的依赖，包括死记硬背和训练集的暴露，这不仅适用于普通CNN（Brown等人，2021 (https://arxiv.org/html/2607.12354#bib.bib366)；Feldman，2020 (https://arxiv.org/html/2607.12354#bib.bib141)），也适用于包括LLM（Du等人，2025 (https://arxiv.org/html/2607.12354#bib.bib33)；Tirumala等人，2022 (https://arxiv.org/html/2607.12354#bib.bib48)）、扩散（例如，Shah等人，2025 (https://arxiv.org/html/2607.12354#bib.bib80)；Carlini等人，2023 (https://arxiv.org/html/2607.12354#bib.bib76)）和自监督学习（Wang等人，2024 (https://arxiv.org/html/2607.12354#bib.bib49)）在内的近期范式。

**主流“训练数据信息依赖→训练数据重建”理论。** 近一个重要的算法系列获得了针对高分辨率MIA图像重建的实际有效防御。它们的实际性能被广泛归因于一个合理的理论假设：训练数据隐私泄漏源于训练输入与模型内部表示或输出之间的直接且过度的信息依赖（Dibbo等人，2024 (https://arxiv.org/html/2607.12354#bib.bib62)；Peng等人，2022 (https://arxiv.org/html/2607.12354#bib.bib303)；Wang等人，2020 (https://arxiv.org/html/2607.12354#bib.bib63)）。为了减轻这种假设的依赖，互信息防御（MID）（Wang等人，2020 (https://arxiv.org/html/2607.12354#bib.bib63)）引入了一个正则化项，减少训练示例与中间特征表示之间的互信息，认为这“限制了预测中包含的关于模型输入的冗余信息”，使得MIA无法“利用这种相关性”。基于这一思想，流行的BiDO算法（Peng等人，2022 (https://arxiv.org/html/2607.12354#bib.bib303)）惩罚训练示例与中间嵌入之间的基于核的信息依赖度量（HSIC），认为这“限制了从输入传播到潜在表示的可被MIA对手利用的冗余信息”。同样的假设再次出现在SCA（Dibbo等人，2024 (https://arxiv.org/html/2607.12354#bib.bib62)）中，该工作认为相关的MIA训练数据重建脆弱性通过直接“抛弃输入图像中不必要的私有信息”（例如，在模型看到训练图像之前对其进行稀疏编码），以及“抛弃...下游层中不必要的私有信息”来减少，试图预先阻止输入的高保真记忆，而不是像Peng等人（2022 (https://arxiv.org/html/2607.12354#bib.bib303)）和Wang等人（2020 (https://arxiv.org/html/2607.12354#bib.bib63)）那样通过损失函数来阻止。类似地，性能出色的迁移学习（TL-DMI）方法（Ho等人，2024 (https://arxiv.org/html/2607.12354#bib.bib45)）提出了一个主要假设：“通过减少使用私有数据集微调的参数量，TL-DMI可以减少模型中编码的私有信息量，使对手更难重建私有训练数据。”这个假设被广泛认为是TL-DMI强大实际性能的原因，该方法仅使用训练数据进行微调。总之，最先进的隐私防御提出了一个共享且直观上合理的理论论证：它们通过减少训练示例与目标模型内部表示或输出之间的信息依赖来提高训练数据的一般隐私性。

**我们的贡献I：挑战MIA防御的理论基础。** 在本文中，我们挑战这一基础假设。具体来说，我们首先通过三个令人惊讶的实验来激发我们的技术，这些实验表明信息依赖观点不足以解释MIA重建脆弱性：
1. 我们证明，近期成功抑制MIA重建的防御方法确实*没有*减少MIA研究中使用的信息依赖近似度量HSIC。事实上，当我们修改防御方法使其确实减少HSIC时，它们就不再提供有效的重建防御。
2. 我们训练模型完美死记硬背训练数据，使得数据到模型的信息依赖在直觉上达到最大（至少在一种直观的依赖观点下），但我们证明这种“最大信息依赖”模型对MIA重建是*鲁棒的*。
3. 我们训练模型，使其未看到每个训练图像>97%的像素，因此信息依赖最小（至少在一种直观的依赖观点下）。最近的信息论边界在标准假设下为这些>97%的像素提供了任意强的隐私保证。然而，我们证明这些训练数据在实践中仍然可以被严重重建：删除>97%的训练数据对MIA重建*没有显著的隐私提升*。

总之，我们的激励实验正式表明，隐私/MIA防御的主流理论方法是不正确的：减少信息依赖并不会像广泛认为的那样带来隐私。因此，最先进的防御通过不同的理论机制获得了令人印象深刻的性能。

**我们的贡献II：隐私-鲁棒性特征权衡。** 为了解释这些结果，我们提供证据表明，MIA下的隐私实际上源于对抗样本文献中称为“非鲁棒”特征（可泛化但不可感知且不稳定的特征），而最近的MIA防御通过无意中使模型转向这些特征来获得隐私提升。为此，我们首次系统评估了隐私/MIA防御对对抗样本的鲁棒性（Szegedy等人，2014 (https://arxiv.org/html/2607.12354#bib.bib60)；Ilyas等人，2019 (https://arxiv.org/html/2607.12354#bib.bib101)）。我们发现，所有近期试图减少信息依赖的防御（MID、BiDO、TL-DMI）在MIA下的隐私泄漏减少程度，与它们对对抗样本脆弱性的增加程度成正比。然后我们明确检验了我们的假设：这些防御的隐私泄漏减少（通过PPA或IF-GMI攻击下的AttAcc@1度量）是其鲁棒准确率（或等价地，它们对非鲁棒特征依赖程度）的线性函数。我们发现，我们几乎可以完美地通过一个关于它们对抗样本脆弱性的简单线性函数来预测每种防御的MIA鲁棒性（\(R^2 = 0.95\)）。因此，我们可以计算“MIA隐私增益的对抗鲁棒性代价”。例如，将MIA泄漏减少1个百分点，对应于鲁棒准确率统计上显著的0.31-5.4个百分点的下降（取决于所选择的对抗样本强度），其中MIA泄漏通过标准PPA攻击的AttAcc@1度量。因此，MIA防御无意中做出了一个权衡：通过转向非鲁棒特征，它们通过剥离模型中语义有意义的信息来增加隐私，但这为对抗样本开辟了显著的新脆弱性。

**我们的贡献III：反对抗训练（AT-AT![[无标题图片]](https://arxiv.org/html/2607.12354v1/dareDEVALII/Figures/ATATiconV4.png)）。** 如果最近的隐私/MIA防御似乎通过无意中“非鲁棒化”模型的特征空间来起作用，那么我们可以通过故意利用这一机制来*因果地诱导*出优越的防御性能。为了建立这种因果关系，我们引入了反对抗训练（AT-AT![[无标题图片]](https://arxiv.org/html/2607.12354v1/dareDEVALII/Figures/ATATiconV4.png)），一种新颖的通用隐私/MIA防御训练范式，它在模型准确率与逆转标准对抗训练（Madry等人，2017 (https://arxiv.org/html/2607.12354#bib.bib246)）的梯度步骤之间取得平衡。AT-AT不是促进对对抗扰动的鲁棒性，而是应用有针对性的梯度更新来抑制对鲁棒特征的依赖。这迫使模型转而学习非鲁棒（但仍然是可泛化的）特征，这些特征对人类而言语义上无意义，从而阻碍MIA下的视觉重建。在因果框架中，我们证明，用AT-AT的非鲁棒特征奖励“处理”标准ResNet-152，会使重建率（AttAcc@1）从84%降至6.5%（\(p << 10^{-16}\)）。然后我们证明，在高分辨率MIA领域，我们的反对抗方法在标准架构、数据集和重建度量上，以比基线更高的准确率获得了优越的MIA防御。与其他通用防御一样，AT-AT的性能以增加对抗样本脆弱性为代价。然而，在我们的情况下，这种脆弱性代价是一个可调参数，为私有模型提供了一个新的设计维度。

**对私有学习的启示。** 我们的结果有四个启示。首先，机器学习中最著名的发现之一是，对抗样本并不揭示错误，而是揭示了可泛化、能区分我们想要学习的类别、但对人类而言视觉上不可感知的非鲁棒特征（Ilyas等人，2019 (https://arxiv.org/html/2607.12354#bib.bib101)）。我们在本文中的论点是，这些属性使它们成为隐私保护学习的理想工具，因为我们的目标是准确分类而不编码视觉有意义的信息，这类信息易受视觉重建攻击。其次，消除训练数据信息依赖并不能保证隐私，因为泄漏可以在没有信息依赖的情况下持续存在。事实上，如果关于学习性能的近期工作正确表明，包括死记硬背在内的依赖可以带来准确率提升，那么这些益处可能可以在不承担通常认为所伴随的所有隐私风险的情况下实现。另一方面，我们的结果证实了近期的一个观点：鲁棒学习表示可能固有地存在隐私脆弱性。因此，鲁棒模型可能本质上有损隐私，超出了它们如何编码数据的特定方面。这种直觉与一致