双重评分：可靠提取强彩票子网络

# 双评分：强彩票的可靠提取 来源：https://arxiv.org/html/2607.20555 Bryce A. Christopherson 数学与统计系 北达科他大学 大福克斯，ND 58202-8376 [email protected] &Jack Baretz 数学与统计系 北达科他大学 大福克斯，ND 58202-8376 [email protected] Darian Colgrove 数学与统计系 北达科他大学 大福克斯，ND 58202-8376 [email protected] &Salah Dandan 数学与统计系 北达科他大学 大福克斯，ND 58202-8376 [email protected] ###### 摘要 彩票假说提出，大型随机神经网络包含稀疏子网络，在经过同等训练后可以匹配密集模型的性能。一个更强的版本断言，充分过参数化的随机网络包含子网络，这些子网络在进行任何权重训练之前就已经准确了。现有理论证明了这种强彩票的存在，但可靠提取仍然困难。我们重新审视了edge-popup，一种用于提取强彩票的冻结权重分数训练方法，并发现逐层稀疏性选择是一个核心瓶颈。我们引入了double-scoring，一种增广的分数空间参数化方法，用对扩大后的分数张量的优化替代了逐层稀疏性搜索。我们证明了增广分数空间中的固定密度掩码保留了访问所有原始坐标掩码的能力，并展示了所得方法可以解释为零增广网络上的edge-popup。在受控实验中，double-scoring在强彩票提取方面显著优于固定密度edge-popup和初始化剪枝基线，改进了回退稀疏训练拓扑的性能，并表现出对稀疏性超参数明显更低的敏感性。消融实验表明，这种增益并不仅仅来源于额外的可训练分数参数，而是与增广分数空间中的竞争有关，后者诱导了有效的原始稀疏性。

## 1 引言

2019年，Frankle和Carbin提出了彩票假说[4 (https://arxiv.org/html/2607.20555#bib.bib1)]，该假说指出，密集的随机初始化神经网络包含稀疏子网络（“中奖彩票”），当这些子网络被独立训练时，可以匹配原始网络的性能。不久之后，Ramanujan等人[15 (https://arxiv.org/html/2607.20555#bib.bib2)]提出了一个更强的变体：充分过参数化的随机网络应该包含子网络，这些子网络*无需任何训练*即可逼近目标网络。这些子网络被称为*强彩票*，而[4 (https://arxiv.org/html/2607.20555#bib.bib1)]中提出的子网络则被称为弱彩票。这一强形式随后在几项工作中被严格建立，并精确量化了所需的过参数化程度。Malach等人[9 (https://arxiv.org/html/2607.20555#bib.bib3)]证明了在多项式过参数化下的存在性，后续结果[13 (https://arxiv.org/html/2607.20555#bib.bib4),14 (https://arxiv.org/html/2607.20555#bib.bib16)]显著改进了这些界限，表明在适当的权重分布下，只需要宽度对数增长。这些结果共同表明，强彩票的存在已不再存疑。因此，核心困难不在于存在性，而在于*提取*。也就是说，给定一个已知包含强彩票的随机初始化网络，如何高效地识别它？为此，人们提出了多种剪枝和掩码策略。一些方法，包括SNIP[8 (https://arxiv.org/html/2607.20555#bib.bib6)]、GraSP[19 (https://arxiv.org/html/2607.20555#bib.bib7)]和SynFlow[18 (https://arxiv.org/html/2607.20555#bib.bib8)]，使用显著性标准在初始化时识别稀疏子网络。这些方法在计算上具有吸引力，因为它们在完整训练之前就生成了掩码。其他稀疏训练方法，如迭代幅度剪枝（IMP），使用重复的训练-剪枝-回退循环来识别能够从早期或原始初始化高效训练的稀疏子网络[5 (https://arxiv.org/html/2607.20555#bib.bib22)]。同样，SET[11 (https://arxiv.org/html/2607.20555#bib.bib127)]、RigL[3 (https://arxiv.org/html/2607.20555#bib.bib128)]和movement pruning[16 (https://arxiv.org/html/2607.20555#bib.bib129)]在训练权重的过程中学习稀疏拓扑。这些方法并非原生的强彩票提取算法，因为它们的掩码是在权重优化过程中发现的。尽管如此，它们提供了有用的比较点：在学习到一个拓扑后，可以将权重回退到原始初始化，并测试该拓扑本身是否定义了一个强彩票。

在这项工作中，我们重新审视了最早用于强彩票提取的方法之一：Ramanujan等人[15 (https://arxiv.org/html/2607.20555#bib.bib2)]提出的edge-popup算法，该算法冻结随机权重并训练辅助分数，这些分数中排名最高的条目决定了激活掩码。我们认为edge-popup的主要障碍不在于其优化动态，而在于其*稀疏性的参数化*。该算法需要预先选择逐层稀疏性水平，然而现有理论并未提供选择它们的原则性方法。我们证明这一困难可以完全消除。首先，我们证明对于足够稀疏的层，所有掩码子网络的类别都可以使用固定的掩码密度12来表示。然后，我们通过将可训练分数参数的数量加倍——即扩大*分数空间*而非权重空间——将这一想法扩展到密集网络。这导致了对edge-popup的一个简单修改，我们称之为double-scoring，它消除了调整逐层稀疏性参数的需求，同时保持了表达能力。实验上，这一修改使我们能够使用与标准训练基本相同的计算成本来可靠提取强彩票。此外，所得子网络在训练后似乎也与其他的弱彩票提取方法具有竞争力。

##### 贡献。
1.  我们指出逐层稀疏性选择是edge-popup风格强彩票提取中的一个实际瓶颈。
2.  我们引入了double-scoring，一种增广的分数空间参数化方法，消除了为每一层调整单独稀疏性水平的需求。
3.  我们证明增广分数空间掩码保留了访问所有原始坐标掩码的表征能力，并且在直通梯度下等价于零增广网络上的edge-popup。
4.  在受控的FashionMNIST MLP实验中，double-scoring在强彩票提取方面相对于固定密度edge-popup、随机掩码、SNIP和GraSP有显著提升，并且仍能与回退稀疏训练拓扑保持竞争力。
5.  我们提供了稳定性和消融研究，表明增益与增广分数空间中的竞争有关，而非仅仅依赖于增加可训练分数参数。

## 2 背景与问题设定

我们考虑具有l层、宽度为\(n_0,\dots,n_l\)和激活函数\(\sigma_1,\dots,\sigma_{l-1}\)的前馈神经网络。这样的网络是一个函数\(f_W:\mathbb{R}^{n_0}\to\mathbb{R}^{n_l}\)，形式如下：
\[ f_W(x)=W_l\sigma_{l-1}\big(\cdots\sigma_1(W_1x+b_1)\cdots\big)+b_l, \]
其中对于每个\(i\)，\(W_i\in\mathbb{R}^{n_i\times n_{i-1}}\)且\(b_i\in\mathbb{R}^{n_i}\)。

彩票假说[4 (https://arxiv.org/html/2607.20555#bib.bib1)]断言，对于任意\(\delta\in(0,1)\)，存在\(N\)，使得概率至少为\(\delta\)时，一个随机初始化的前馈网络，其\(\min\{n_i:1\leq i\leq l-1\}\geq N\)，包含一个掩码\(H\)，使得子网络\(f_{W\odot H}\)（其中\(H\)保持固定）在两者经历可比的权重训练后，能够达到与原始网络相当的性能。强彩票假说[15 (https://arxiv.org/html/2607.20555#bib.bib2)]实质上相同，但省去了后续训练要求，而是断言掩码\(H\)满足\(\|f_{W\odot H}-g\|_{K,\infty}<\epsilon\)，其中\(g\)是定义域紧子集\(K\)上的任意连续函数。尽管一张强票在初始化时已经表现良好，但这样的子网络是否也能作为弱票保持可训练性，这是一个我们在第6.2节和第M.1节中检验的实证问题。

在Ramanujan等人首次提出强彩票假说的同一篇论文中，他们也介绍了edge-popup，一种冻结权重分数训练方法。对于具有固定权重\(W_t\)、分数张量\(S_t\)和密度\(k_t\)的层，定义\(H_t=\operatorname{TopKMask}(S_t;k_t)\)以保留\(|S_t|\)中最大的\(\lfloor k_t d_t\rfloor\)个条目，其中\(d_t\)是权重的数量。前向传播使用\(W_t\odot H_t\)，而反向传播使用直通估计器处理硬掩码；通过幅度参数化的梯度在远离零处使用\(|S_t|\)的导数。因此，edge-popup在保持权重固定的同时优化掩码。

使用edge-popup从网络中提取强彩票的困难在于，该算法假设正确的逐层密度\(k_1,\dots,k_l\)已经已知或可以通过某种方式获得。这就是阻止edge-popup提取强彩票的瓶颈。

## 3 稀疏性选择瓶颈

强彩票的存在性定理仅表明存在某个好的逐层密度选择\(k_1,\dots,k_l\)（即强票本身的掩码密度）；它们并未识别出这一选择。在实践中，不同的逐层密度模式会产生截然不同的性能，并且没有可靠的规则可以预先预测正确的元组。更糟糕的是，存在性定理提供的正确选择仅适用于分数初始化充分接近期望目标的情况。在许多情况下，从不利的分数初始化出发，使用任何密度选择通过edge-popup产生强彩票似乎都不太可能，因为密度选择与分数初始化之间存在非平凡交互，这不仅对全局稀疏性敏感，而且对完整的逐层密度向量和分数初始化都很敏感。由于正确的向量未知，提取真正的强票通常需要昂贵的k向量网格搜索，并且往往还需要一定的运气。这种敏感性在附录H中的一个玩具正弦回归实验中得到了说明，该实验中逐层密度的穷举扫描产生了高度非均匀的损失景观。

即使在计数层面，这个瓶颈也是显而易见的。第i个权重矩阵有\(n_{i-1}n_i\)个条目，因此只有\(n_{i-1}n_i+1\)种可能的密度值，形式为\(0, \frac{1}{n_{i-1}n_i}, \frac{2}{n_{i-1}n_i}, \dots, \frac{n_{i-1}n_i-1}{n_{i-1}n_i}, 1\)。因此，如果想要确定哪个逐层密度元组是最优的，原则上必须考虑所有跨层的这些值的组合。不考虑偏置项，可能的逐层密度元组总数为\(\prod_{i=1}^l (n_{i-1}n_i+1)\)。其中一些元组显然是冗余的——例如，如果\(k_i=0\)，那么后续的\(k_{i+1},\dots,k_l\)值就变得无关紧要——但搜索空间仍然增长得非常快。例如，即使是一个三层网络，权重矩阵形状分别为\(10\times20\)、\(20\times30\)和\(30\times5\)（总共仅950个权重），已经有超过1800万个可能的逐层密度元组。

## 4 Double-Scoring方法

double-scoring方法（算法1）是对edge-popup的一种修改，它通过扩大模型的*分数空间*来运作，使得密集层可以被视为嵌入在半稀疏增广层中，而无需修改底层权重（这样做的动机在第5节中连同理论结果的总结一起进行了描述）。其思想是引入两个辅助分数张量\(S_t\)和\(T_t\)，它们与每个权重张量\(W_t\)形状相同，并将掩码操作应用于两个分数张量的拼接\( \widehat{S}_t=(S_t,T_t) \)，在固定密度\(\frac{1}{2}\)下产生一个双宽度掩码\( \widehat{H}_t=\textrm{TopKMask}(\hat{S}_t;0.5) \)，然后通过将结果限制回原始坐标得到最终掩码；即\(H_t=\widehat{H}_t|_{\textrm{orig}}\)。这样，我们在不引入任何额外权重参数的情况下，获得了半稀疏增广系统的表达灵活性。

算法1 Double-Scoring
1: 冻结随机初始化的权重 \(\{W_t,b_t\}_{t=1}^L\)，训练数据，损失函数 \(\mathcal{L}\)，学习率 \(\eta\)
2: for \(t=1,\dots,L\) do
3: 初始化两个分数张量 \(S_t,T_t\) 以及偏置分数张量 \(f_t,g_t\)，形状分别与 \(W_t\) 和 \(b_t\) 相同
4: for 每个训练迭代 do
5: for \(t=1,\dots,L\) do
6: \( \widehat{S}_t \leftarrow (S_t,T_t), \quad \widehat{f}_t \leftarrow (f_t,g_t) \)
7: \( \widehat{H}_t \leftarrow \operatorname{TopKMask}(\widehat{S}_t;1/2), \quad \widehat{h}_t \leftarrow \operatorname{TopKMask}(\widehat{f}_t;1/2) \)
8: \( H_t \leftarrow \widehat{H}_t|_{\mathrm{orig}}, \quad h_t \leftarrow \widehat{h}_t|_{\mathrm{orig}} \)
9: \( \widetilde{W}_t \leftarrow W_t \odot H_t, \quad \widetilde{b}_t \leftarrow b_t \odot h_t \)
10: 使用 \(\{(\widetilde{W}_t,\widetilde{b}_t)\}_{t=1}^L\) 计算网络输出，计算损失 \(\mathcal{L}\)
11: for \(t=1,\dots,L\) do
12: 使用直通梯度通过梯度下降更新 \(S_t,T_t,f_t,g_t\)
13: 返回最终掩码 \(\{H_t,h_t\}_{t=1}^L\)

这种构造将密度全局固定在\(\frac{1}{2}\)，同时允许原始权重上的有效密度被隐式学习。正如我们在第5节中将展示的，由此产生的搜索空间表达力足够强，可以表示通过显式逐层密度选择可获得的所有子网络。在这个意义上，对密度参数的组合搜索被替换为对扩大后分数空间的连续优化，从而消除了n