CutClean：隐私保护推理的神经网络剪枝方法

# CutClean：面向隐私保护推理的神经网络剪枝方法
来源：https://arxiv.org/html/2608.13773
Vito Paolo Pastore
附属机构：意大利热那亚大学 MaLGa-DIBRIS  
附属机构：意大利理工学院  
Giuseppe Valenzise
附属机构：法国巴黎-萨克雷大学、法国国家科学研究中心、中央理工高等电力学院、L2S实验室  
Enzo Tartaglione  
附属机构：法国巴黎高等电信学院、巴黎综合理工学院  
电子邮件：[[email protected]](mailto:[email protected])

###### 摘要

神经网络在高风险应用中的部署日益广泛，其隐私泄露问题也随之引发担忧。研究表明，即使不存在导致传统数据集偏差的表示失衡，隐私泄露仍可能发生。这给处理敏感属性的模型部署带来了重大隐私风险。在此背景下，我们提出CutClean——一种隐私感知剪枝方法，能在增加网络稀疏度的同时减少隐私信息流动。该方法在每个网络模块上设置辅助线性隐私头来量化信息泄露，并通过逐步增加稀疏度来消除私有属性泄露（以最后一个模块附加的隐私头准确率为度量标准）。在合成数据集和真实数据集上的实验表明，本方法在实现高稀疏率、保持分类目标精度的同时，有效最小化了私有信息流动。¹

###### 关键词

隐私保护、剪枝、结构化稀疏、互信息。

## 1引言

神经网络正被广泛应用于医疗、金融、生物特征认证及社会服务等高风险领域，其自动化决策可能对社会和个人产生重大影响。为应对这些风险，近期监管框架——尤其是欧盟《人工智能法案》¹——高度重视隐私保护、数据最小化及敏感信息防滥用措施²。尽管取得了这些进展，现代神经网络仍易出现侧信道泄露：即使模型训练时未显式访问敏感属性，其内部表征也可能编码私人信息，并可能被攻击者、辅助分类器或下游任务提取³⁴。

现有关于神经网络隐私泄露的研究主要关注数据集失衡或敏感属性与目标属性相关性所引发的偏差。在此类情境下，敏感信息作为伪相关的副产物出现，缓解策略通常依赖数据集平衡、公平性约束或对抗性表征学习⁵。然而，即使不存在此类失衡，隐私泄露仍可能持续存在⁶⁷：神经网络可能仅因敏感属性对中间特征具有预测性或对表征学习有益而编码这些属性，而非源于训练数据中的显式偏差。这一发现挑战了“仅消除数据集偏差即可防止隐私泄露”的假设，并凸显了模型中心化隐私干预的必要性。

与此同时，机器学习领域已探索通过训练后技术来提升网络的效率、鲁棒性或可解释性。其中，网络剪枝⁸⁹通过移除冗余参数或结构成为降低模型尺寸与计算成本的有效工具。结构化剪枝方法尤其能移除整个通道、滤波器或模块，实现对部署友好的稀疏模式¹⁰。尽管剪枝在效率优化场景中成效显著，其作为隐私保护机制的潜力仍未得到充分挖掘。直觉上，移除编码敏感信息的网络部分可降低隐私泄露¹¹，但如何以原则性且可度量的方式实现这一点仍是开放挑战。

本文提出CutClean——一种隐私感知结构化剪枝框架，旨在显式减少神经网络中的私有属性泄露。该方法在神经网络中间模块附加辅助线性隐私头，使我们能够量化不同深度存在的私有信息量。CutClean不依赖数据集层面的假设，而是直接通过隐私头的准确率来度量隐私泄露。随后我们逐步实施结构化剪枝，移除对私有属性预测性贡献最大的组件，同时监控目标任务性能与隐私泄露程度。我们在合成与真实数据集上实证验证了CutClean的有效性，证明其在不牺牲分类性能的前提下，实现了高稀疏率与私有属性可预测性的显著降低。我们的贡献可总结如下：

- 引入CutClean：首个专为减少已训练神经网络中私有属性泄露而设计的结构化剪枝框架，将剪枝定位为隐私保护干预手段而非压缩或鲁棒性工具（§3.2）。
- 展示无需对抗性极小极大优化即可实现私有属性泄露显著降低，提升了稳定性与部署后适用性（§4.2）。
- 证明CutClean在保持目标任务精度的同时实现高结构化稀疏度，揭示了隐私泄露降低与高效模型部署间出人意料的兼容性（§4.3）。

## 2相关工作

隐私泄露与对抗性属性推理。大量研究表明，即使训练时未使用受保护属性，神经网络表征仍可能泄露敏感信息³⁴。属性推理攻击与辅助分类器攻击表明，性别、种族或健康状态等敏感属性通常能以高准确率从学习特征中恢复³⁴¹²¹³。这些发现推动了对抗性分类器的使用（常称为隐私头或属性分类器¹⁴），用于度量或利用中间表征中的隐私泄露¹⁵¹⁶。在此场景中，隐私风险通常通过攻击者从模型内部特征预测敏感属性的准确率来衡量。

去偏与隐私。除对抗训练外，多种方法研究了训练后缓解偏差与隐私泄露的技术，包括特征投影、表征混淆及带正则化约束的微调⁶¹⁷。这些方法通常关注公平性指标或人口统计均等性，而非显式量化与最小化信息泄露¹⁸¹⁹。鲜有研究将结构化模型修改视为训练后控制隐私风险的机制，特别是不修改原始损失函数或无需重复对抗再训练的情况。

神经网络剪枝。网络剪枝旨在通过移除冗余参数、通道或结构组件来降低模型复杂度⁸⁹²⁰。虽然剪枝传统上研究聚焦于模型压缩、加速与鲁棒性，近期研究开始探索其对表征特性的影响²¹²²。然而，大多数现有剪枝策略对隐私或偏差因素不敏感，仅依赖任务性能或权重幅度作为剪枝标准。

CutClean区别于先前工作之处在于：利用剪枝来减少隐私泄露，并由敏感属性可预测性的显式度量引导。本方法不依赖对抗性极小极大优化，而是将辅助线性隐私头仅用作诊断工具来量化不同网络深度的信息流动。通过逐步剪枝对私有属性泄露有贡献的网络组件，CutClean避免了对抗性去偏的不稳定性与重训练开销，同时实现了对部署友好的稀疏性。这使结构化剪枝成为实用且有效的训练后隐私保护机制，补充了现有的去偏与隐私保护训练时方法。CutClean的成功得益于对抗鲁棒性研究：经适当剪枝的架构可抵御对抗攻击²³²⁴；与此不同，CutClean旨在移除训练时分布内且非异常值的特定属性。

## 3方法

### 3.1问题形式化

本节定义本文的主要概念与目标。我们希望神经网络$f:\mathcal{X} \rightarrow \mathcal{Y}$学习输入$\mathbf{x}$与输出标签$\hat{\mathbf{y}}$间的映射，同时防止模型传递关于次级私有标签$\hat{z} \in \mathcal{Z}$的信息。网络$f$由连续模块$\{b_i\}_{i=1}^B$构成，中间输出描述为：

$$\forall i \in [1,B], \quad h_i = b_i(h_{i-1}), \tag{1}$$

其中$h_0 = \mathbf{x}$，$\hat{\mathbf{y}} = g^c(h_B)$，$g^c$为作为任务特定分类头的softmax线性层。

我们通过向*每个*模块输出附加辅助线性层来估计各中间输出传递的信息量，该层充当隐私头：

$$\forall i \in [1,B], \quad \hat{z}_i = g^p_i(h_i). \tag{2}$$

在基础设置中，主模型通过最小化交叉熵损失$\mathcal{L}_y(\hat{y})$训练，每个隐私头$g^p_i$通过最小化交叉熵损失$\mathcal{L}_z(\hat{z}_i)$训练，其误差不反向传播至骨干网络$f$。隐私头的性能可视为从相应模块输出可提取私有信息的度量。

我们提出计算一系列剪枝掩码$\{m_i\}_{i=1}^B$应用于各模块的网络通道，旨在实现主任务性能与剪枝网络稀疏度的最佳平衡，同时最小化可从网络表征中提取的私有信息量——即使隐私头性能接近随机猜测。模块的定义取决于具体架构，如§4.1所述。

### 3.2所提方法

**图1**：CutClean示意图。本工作目标是在最小化网络表征中私有信息流动的约束下剪枝网络。为此，我们在优化目标中加入对抗性项，以降低附加于所有模块输出的最优训练隐私头的性能。我们将私有信息流动度量为附加于最后模块的隐私头准确率。所提出的隐私感知剪枝策略（称为CutClean）示意图见图1，伪代码描述见补充材料。首先，我们通过交替训练程序预训练网络以获得隐私感知骨干网络（称为在线批量互信息感知训练）。随后执行定制剪枝方案，通过固定网格（$s \in [0,1]$）上的网格搜索探索不同候选稀疏度。为控制稀疏度与私有信息流动的权衡，我们监控最后隐私头的验证准确率。若最后隐私头准确率经微调后低于或等于给定阈值$P^{\text{threshold}}$，则定义该稀疏度为可接受。我们对每个对应可接受稀疏度的剪枝模型进行少量固定轮次的微调，使用预训练中的交替互信息感知训练程序。在可接受剪枝模型中，选择在验证集表现最佳者用于测试集评估。下文将详细说明流程的主要组件，包括在线批量互信息感知训练（§3.3）与设计的剪枝策略（§3.4）。

### 3.3在线批量互信息感知训练

朴素方法可能采用如下优化函数：

$$\mathcal{J} = \mathcal{L}_y(\hat{y}) - \sum_{i=1}^B \mathcal{L}_z(\hat{z}_i). \tag{3}$$

但如文献¹⁴所示，此优化目标可能导致退化解：隐私头以高置信度系统性误分类私有属性。此行为仍要求骨干网络可靠编码私有属性（头必须推断正确类别才能进行反转），因此无法有效移除表征中的私有信息。

为避免此问题，本文采用与隐私头输出$\hat{z}$及私有标签间互信息的可微代理，类似文献¹⁴。对于给定头输出$\hat{z}_i$，该互信息代理为