GRAPE：面向紧凑型对抗鲁棒性的引导式参数空间演化

# 引导式参数空间演化用于紧致对抗鲁棒性
来源: https://arxiv.org/html/2606.14865
叶致远¹, 周翔宇², 祁骥²,\*, 张浩¹,\*, 周毅²,\* ¹中国科学技术大学 ²中国移动(苏州)软件技术有限公司 [email protected] {zhouxiangyu,qiji}@cms.chinamobile.com {hzhangzy,yi_zhou}@ustc.edu.cn \*通讯作者

###### 摘要

对抗训练（AT）是提升神经网络鲁棒性的主流方法，但大多数AT方法假设可优化的参数空间在训练过程中保持固定。尽管更大的模型容量通常能提升鲁棒准确率，但模型所能支持的鲁棒性不应仅由其训练前的静态参数数量决定。受发育可塑性高层原则的启发——该原则认为表征通路是逐步形成、稳定和重组的一一本文研究，即使最终架构不变，训练期间参数空间暴露的顺序是否会影响最终的鲁棒解。

我们提出GRAPE，即引导式参数空间演化，一个用于紧致对抗鲁棒性的训练框架。GRAPE结合了参数空间稳定化与渐进式隐藏层扩展：前者稳定局部鲁棒优化，后者在训练过程中逐步释放新的可优化维度。与从训练一开始就暴露全部参数空间的固定结构AT不同，GRAPE将鲁棒模型学习视为一个参数空间逐步暴露和演化的过程。它进一步使用对抗谱利用率分数将新释放的容量分配给高压模块，从而提高参数空间扩展的效率。

在CIFAR-10上标准ℓ\ell_{∞}威胁模型下，以固定结构ResNet-18 AT作为控制参考，GRAPE在几乎匹配的计算预算下（FLOPs比为1.009×1.009×）将PGD-20鲁棒准确率从51.70%提高到56.94%，相对提升约10.1%，同时参数数量减少约21.4%。此外，一种保留最终ResNet-18架构的序列增长变体达到了56.52%的PGD-20鲁棒准确率，表明增益不仅仅是由于最终架构差异，还与参数空间的渐进暴露路径有关。这些结果表明，在匹配计算量的条件下，引导式参数空间演化可以形成更紧致、更鲁棒的参数空间配置。

## 1 引言

深度神经网络在图像分类及相关任务中取得了显著成功，但它们仍然对小扰动高度敏感。给定输入样本xx，标签yy，模型fθf_{θ}和扰动预算εε，标准的对抗训练（AT）通常表述为以下最小-最大优化问题：

minθE\(x,y\)∼D\[max‖δ‖∞≤εL\(fθ\(x+δ\),y\)\]．\min_{\theta}\mathbb{E}_{(x,y)\sim\mathcal{D}}\left[\max_{\|\delta\|_{\infty}\leq\epsilon}\mathcal{L}(f_{\theta}(x+\delta),y)\right]．\quad (1)
在本文中，我们使用AT表示内层最大化通过多步PGD近似的标准对抗训练。这类方法是经验鲁棒性研究中最广泛使用的范式之一[12 (https://arxiv.org/html/2606.14865#bib.bib1)]。后续研究从鲁棒性-准确性权衡[23 (https://arxiv.org/html/2606.14865#bib.bib2)]、鲁棒过拟合[17 (https://arxiv.org/html/2606.14865#bib.bib3)]、损失景观平滑[22 (https://arxiv.org/html/2606.14865#bib.bib4)]、数据增强以及正则化等角度进一步改进了对抗训练。

在这些方向中，参数空间稳定化是改进对抗训练的重要途径。AWP在权重空间中引入对抗性权重扰动，促使模型收敛到更平坦的鲁棒解[22 (https://arxiv.org/html/2606.14865#bib.bib4)]。ISEAT进一步根据实例级脆弱性引入自适应平滑，从而稳定高度脆弱样本周围的局部优化过程[11 (https://arxiv.org/html/2606.14865#bib.bib5)]。这些方法表明，对抗训练不仅依赖于输入空间中的扰动构造，还与参数空间中的局部稳定性密切相关。然而，它们通常共享一个隐含假设：模型架构和可优化参数空间在训练过程中保持固定。

在对抗鲁棒性中，普遍观察到更大的模型容量往往有助于提升鲁棒准确率。然而，模型所能支持的鲁棒性不应仅由训练前指定的静态参数总数决定。先前的工作也表明，鲁棒性并非简单随模型容量单调增加。Huang等人系统地研究了对抗训练DNN中宽度和深度配置的影响，并观察到更多参数并不一定带来更高的鲁棒性；在某些情况下，减小最后阶段的容量甚至可以提高对抗鲁棒性[9 (https://arxiv.org/html/2606.14865#bib.bib7)]。这一观察表明，对抗鲁棒模型的有效容量不应仅仅理解为静态参数数量，还应考虑参数空间在训练过程中如何暴露、稳定和扩展。

从参数空间的角度来看，固定结构AT可以写成：
θt∈Θ,Θ=常数.\theta_{t}\in\Theta,\qquad\Theta=\mathrm{常数}.\quad (2)
也就是说，整个训练过程在同一个参数空间Θ\Theta内进行。本文关注一个不同的问题：即使最终网络架构相同，训练过程中参数空间暴露的顺序是否会影响最终的鲁棒解？如果模型从训练一开始就暴露全部参数空间，优化器可能过早利用高自由度，形成低效的鲁棒拟合路径。相反，如果可优化参数空间在训练过程中逐步暴露和扩展，模型可能首先在较小的参数空间中形成相对稳定的鲁棒表示，然后逐渐吸收新的可学习自由度。换句话说，参数空间本身的演化路径可能成为影响对抗训练效率和鲁棒性的关键因素。

这一观点也可以从脑启发智能的高层抽象中得到启发。生物神经系统中的学习并非发生在一个从一开始就完全展开的静态容量系统中。相反，表征通路是通过发育和经验逐步形成、稳定和重组的。关于神经可塑性的研究表明，发育和学习会引起神经系统中持续的结构和功能可塑性[5 (https://arxiv.org/html/2606.14865#bib.bib13)]。同时，稳定性-可塑性困境指出，学习系统必须平衡已有知识的稳定性与吸收新信息的能力；自适应共振理论也长期将稳定学习和持续适应视为认知系统的重要机制[3 (https://arxiv.org/html/2606.14865#bib.bib15),8 (https://arxiv.org/html/2606.14865#bib.bib14)]。本文并非旨在模拟特定的神经机制。相反，我们借鉴这一高层组织原则，将对抗鲁棒模型学习抽象为参数空间逐步暴露、稳定和扩展的过程。

基于这一视角，我们提出GRAPE，即引导式参数空间演化，一种用于紧致对抗鲁棒性的参数空间演化训练方法。与固定结构AT不同，GRAPE将鲁棒训练表述为动态参数空间中的优化：
Θ0⊂Θ1⊂⋯⊂ΘT.\Theta_0\subset\Theta_1\subset\cdots\subset\Theta_T.\quad (3)
具体来说，GRAPE结合了参数空间稳定化与渐进式隐藏层扩展。前者借鉴AWP和ISEAT中的局部平滑思想，在对抗训练期间稳定局部参数空间；后者在训练过程中逐步释放新的可优化维度。与从一开始就暴露全部参数空间的固定结构AT不同，渐进式扩展允许模型在训练过程中逐步获得新的隐藏容量。

在此基础上，GRAPE进一步使用对抗谱利用率分数引导新释放的容量偏向高压模块。换句话说，GRAPE不仅考虑是否应当逐步扩展参数空间，还考虑新释放的可优化维度应当分配到哪里。在本文中，一个无分数引导的稳定序列增长变体被用作渐进式参数空间暴露的控制，而有分数引导的增长则作为引导式参数空间演化机制。前者用于测试在相同稳定化设置下，渐进式参数空间暴露本身是否有效；后者用于测试对抗谱利用率是否能进一步提高容量释放的效率。

需要强调的是，GRAPE的目标既不是简单地扩大模型容量，也不是将参数减少本身作为主要目标。由于不同块的隐藏层扩展会导致参数量和FLOPs的不均衡增长，本文以FLOPs作为主要计算预算参考，并报告参数量变化以表征参数空间的紧致性。换句话说，我们探究的是：在相同计算预算下，引导式参数空间演化能否形成参数量更少、鲁棒性更高的紧致参数空间配置。

本文的贡献总结如下：

- •我们从参数空间演化的视角重新审视对抗训练，并认为鲁棒模型的能力不应仅由静态参数总数解释，还应考虑可优化参数空间在训练过程中如何逐步暴露和扩展。
- •我们提出了GRAPE，即引导式参数空间演化，它结合了参数空间稳定化与渐进式隐藏层扩展，使对抗训练能够同时纳入局部参数空间稳定化和全局参数空间扩展。
- •我们通过一个保留最终ResNet-18架构的序列增长变体验证了渐进式参数空间暴露本身的作用。该变体在最终架构等价于ResNet-18的情况下达到了56.52%的PGD-20鲁棒准确率，表明增益不仅来自最终架构的差异，还与训练过程中的参数空间暴露路径有关。
- •在CIFAR-10上标准ℓ\ell_{∞}威胁模型下，在几乎匹配的计算预算下（FLOPs比为1.009×1.009×），GRAPE将固定结构ResNet-18 AT的PGD-20鲁棒准确率从51.70%提高到56.94%，相对提升约10.1%，同时参数数量减少约21.4%。这一结果表明，在相同计算预算下，引导式参数空间演化可以形成更紧致、更鲁棒的参数空间配置。

## 2 相关工作

### 2.1 对抗训练

对抗训练是经验性提升深度模型鲁棒性的核心方法。早期研究表明，深度神经网络容易受到对人眼几乎不可察觉的对抗样本的攻击[20 (https://arxiv.org/html/2606.14865#bib.bib16),6 (https://arxiv.org/html/2606.14865#bib.bib17)]。随后，Madry等人[12 (https://arxiv.org/html/2606.14865#bib.bib1)]将对抗鲁棒性形式化为一个鲁棒优化问题，并使用多步PGD逼近内层最大化，建立了经验鲁棒性研究中广泛使用的AT训练范式。TRADES通过将干净损失与边界正则化分离，进一步建模了鲁棒性与自然准确性之间的权衡[23 (https://arxiv.org/html/2606.14865#bib.bib2)]。

尽管这些方法显著提升了经验鲁棒性，但AT仍然面临训练不稳定、鲁棒过拟合以及高计算成本等挑战。Rice等人[17 (https://arxiv.org/html/2606.14865#bib.bib3)]表明，在对抗训练过程中，模型可能会在训练集对抗样本上继续改善，而测试鲁棒准确率停滞甚至下降。后续工作通过数据增强、正则化、模型平均和训练技巧进一步提升了AT的实际性能[16 (https://arxiv.org/html/2606.14865#bib.bib18),14 (https://arxiv.org/html/2606.14865#bib.bib19)]。这些研究主要关注目标函数、数据或优化策略，而本文研究一个不同的问题：训练期间的可优化参数空间是否应该保持固定。

### 2.2 鲁棒训练的参数空间稳定化

除了输入空间扰动，参数空间中的局部稳定性也与对抗鲁棒性密切相关。AWP在权重空间中构造对抗性权重扰动，促使模型收敛到更平坦的鲁棒解，从而缓解鲁棒过拟合[22 (https://arxiv.org/html/2606.14865#bib.bib4)]。相关地，ISEAT基于实例级脆弱性引入自适应平滑，稳定高度脆弱样本周围的局部优化过程[11 (https://arxiv.org/html/2606.14865#bib.bib5)]。

在本文中，我们将AWP和ISEAT等方法视为参数空间稳定化的代表：它们主要通过平滑或扰动权重空间来稳定对抗训练。然而，这些方法通常仍然在固定架构和固定参数空间内进行优化。GRAPE借鉴了这些方法中局部稳定化的思想，但进一步引入了渐进式隐藏层扩展，使得对抗训练不再局限于预先固定的参数空间，而是在训练过程中逐步暴露和扩展可优化维度。

### 2.3 模型容量与鲁棒架构设计

模型容量与对抗鲁棒性之间的关系是复杂的。经验上，更宽或更大的模型通常能达到更高的鲁棒准确率，尤其是在强对抗训练和大规模数据增强设置下，模型规模往往成为提升鲁棒性的关键因素[7 (https://arxiv.org/html/2606.14865#bib.bib20),2 (https://arxiv.org/html/2606.14865#bib.bib21)]。然而，容量并非一个单一维度的概念。参数量、FLOPs、宽度、深度以及不同阶段的通道分配都会影响鲁棒性和计算效率。

Huang等人[9 (https://arxiv.org/html/2606.14865#bib.bib7)]系统地研究了对抗训练DNN中深度、宽度和架构要素的影响，并观察到更多参数并不一定带来更高的鲁棒性；在某些情况下，减小最后阶段的容量甚至可以提高对抗鲁棒性。这与本文的观点一致：鲁棒能力