一次性幅度剪枝与计算自适应早退出的理论保证

# 一次幅值剪枝与计算自适应早退出的理论保证
来源：https://arxiv.org/html/2609.12337
作者：Erdem Koyuncu  
单位：伊利诺伊大学芝加哥分校电气与计算机工程系  
通讯作者：[[email protected]](mailto:[email protected])

###### 摘要
本文通过统一的部分计算与全计算视角研究神经网络中的计算缩减，该视角在静态机制下体现为一次幅值剪枝，在自适应机制下体现为早退出。我们在渐近单神经元模型中，为一次幅值剪枝证明了带有明确收敛速率的集中性定理。同时，我们为早退出引入条件感知机模型，并证明其多余泛化误差以计算差距的幂次衰减，其指数随部分计算与全计算对齐度趋近于一而趋向无穷大。随后我们将分析扩展到深度网络，刻画了剪枝引起的失真如何随深度累积，并在神经网络高斯过程模型下推导了冻结骨干网络早退出的计算-准确率权衡关系。数值模拟验证了所预测的缩放规律。

###### 关键词：机器学习，ICML

## 1 引言
人工智能领域取得了巨大进展，主要得益于大规模神经网络设计和训练技术的突破。一个关键观察是：神经网络性能随模型规模、数据集大小和计算预算的增加而可预测地提升。这一经验观察常被描述为缩放定律（Kaplan等，2020），表明随着计算量的增加，性能会平滑提升。然而，对这些趋势的理论理解仍不明确。

一种在降低计算成本的同时实现可扩展性能的有前景策略是：根据输入激活模型参数的子集，这种范式称为条件计算（Bengio等，2013；Davis与Arel，2013；Eigen等，2013）。这包含多种机制，例如早退出网络（Han等，2021；Li等，2024；Teerapittayanon等，2016；Görmez等，2022），其中中间层的置信度分数可以触发提前输出以节省计算；以及稀疏门控混合专家（MoE）模型（Fedus等，2021；Shazeer等，2017；Jiang等，2024），其中输入相关的门控机制仅为每个输入激活一部分专家子网络。这些架构能在保持准确率的同时大幅节省计算，但对其实现时机和原理的系统性解释仍有限。

本工作旨在为条件计算中的计算-准确率权衡发展易于处理的理论表征。我们的方法从*单神经元*层面入手，在此处可获得精确结果，然后通过展示相同机制如何在深度中传播，过渡到*深度网络*。我们将条件计算与*全*计算和*部分*计算的共存相关联。在静态设置中，部分计算用于所有输入，对应幅值剪枝；在自适应设置中，部分计算用于形成置信度分数，仅在需要时调用全计算，对应早退出。我们首先分析单神经元的这两种机制，然后将其推广到多层网络。

在此背景下，本工作的主要贡献可概括如下：

- • **静态神经元**：通过证明在高维空间中全计算向量与（重归一化）剪枝权重向量之间的余弦相似度收敛到依赖于剪枝率的常数，我们给出了单神经元中*一次*幅值剪枝失真的封闭形式表征，并提供了明确的收敛速率。这补充了现有剪枝理论（该理论更常强调迭代剪枝-训练流程或通用压缩与泛化界）。
- • **自适应神经元**：我们引入*条件感知机*作为早退出的解析易处理模型，其中部分计算形成置信度分数，仅在需要时调用全计算。在师生设置中，我们证明了多余泛化误差以计算差距的幂次衰减，其指数由部分计算与全计算的对齐度控制，且当该对齐度趋于一时发散。这提供了超越纯策略驱动的经验权衡的明确计算-准确率曲线。
- • **静态网络**：我们通过在无限宽高斯极限中耦合未剪枝计算与重归一化剪枝计算，将一次剪枝失真提升到深度层面，得到量化失真如何跨层累积以及稳定性如何依赖于激活函数的递归关系。这解决了对一次剪枝下深度累积失真理论研究不足的问题。
- • **自适应网络**：针对具有蒸馏中间退出点的冻结骨干网络，我们在无限宽高斯耦合模型中分析早退出，刻画中间分数与最终分数的联合分布，并通过有效相关参数推导出以退出深度为变量的对齐度控制的计算-准确率权衡。

总体而言，我们提供了从单神经元到深度架构、从静态剪枝到自适应早退出的神经网络计算缩减的理论研究。我们的目标不是为每个训练架构提供定量精确描述，而是分离出控制对齐损失、深度累积和激活依赖的解析易处理机制。随后实验测试了这些机制在实际预训练模型中是否保持，支持了主导趋势在理想化设置之外的稳健性。

本文其余部分组织如下：第2节和第3节分别分析单神经元的静态剪枝和自适应早退出。第4节和第5节将这些机制推广到深度网络。第6节提供一些数值实验。第7节给出主要结论。附录包含技术证明、额外数值结果及相关工作总结。

## 2 静态神经元
我们从单神经元层面的静态计算缩减机制开始，其中一次幅值剪枝应用一次后保持固定。设$\mathbf{x} \in \mathbb{R}^n$为输入，$\mathbf{w} \in \mathbb{R}^n$为相应的特征提取权重向量。*全*计算形成局部场$\mathbf{w}^{\top}\mathbf{x}$。给定剪枝率$q \in (0,1)$，一次幅值剪枝移除$\mathbf{w}$中幅度最小的$\lceil qn \rceil$个坐标，生成剪枝向量$\mathbf{w}_{\mathrm{p}}$。重归一化剪枝向量定义为$\widetilde{\mathbf{w}}_{\mathrm{p}} \triangleq \|\mathbf{w}\| \mathbf{w}_{\mathrm{p}} / \|\mathbf{w}_{\mathrm{p}}\|$，可通过缩放$\mathbf{w}_{\mathrm{p}}$使其范数与$\mathbf{w}$匹配得到。*部分*计算可形成局部场$\mathbf{w}_{\mathrm{p}}^{\top}\mathbf{x}$或$\widetilde{\mathbf{w}}_{\mathrm{p}}^{\top}\mathbf{x}$中的任意一个。我们的目标是刻画全计算与部分计算在高维空间中的接近程度。

我们证明，在标准各向同性权重模型下，$\mathbf{w}$与其剪枝对应向量之间的余弦相似度收敛于仅依赖于剪枝率的确定性极限。我们进一步提供了有效的有限-$n$偏差界，给出明确的渐近收敛速率。这种集中性有助于解释一次剪枝为何能保持决策行为，并将作为第3节自适应早退出分析和第4节网络级深度累积分析的基础。

为陈述主要集中性定理，我们引入与Gamma随机变量顺序统计量相关的记号。设$G_1, G_2, \ldots, G_n$为形状参数$s$、尺度参数$\theta$的Gamma随机变量$G \sim \mathrm{Gamma}(s, \theta)$的独立同分布副本。记其顺序统计量为$G_{(1)} \leq \cdots \leq G_{(n)}$。对给定$y \in [0, \infty)$，定义截断Gamma随机变量$G_{\leq y}$为在条件$G \leq y$下的$G$，其中$y \in [0, \infty)$。记号$G_{\geq y}$类似定义。

###### 定理 2.1
设$G_1, G_2, \ldots, G_n$为独立同分布的Gamma随机变量，形状参数$s$、尺度参数$\theta$。记对应顺序统计量为$G_{(1)} \leq \cdots \leq G_{(n)}$。对给定$0 < q < 1$和$\tau_q > 0$，定义
$$
\tau_q \triangleq \frac{\mathbb{E}[G_{\geq \omega_q}]}{\sqrt{\mathbb{E}[G_{\leq \omega_q}] + \mathbb{E}[G_{\geq \omega_q}]}} \cdot \frac{1}{\sqrt{\mathbb{E}[G_{\geq \omega_q}]}} \tag{1}
$$
其中$\omega_q$是$\mathrm{Beta}(k, n-k+1)$分布的中位数，$k = \lceil qn \rceil$，$\mathbb{E}[G_{\geq \omega_q}] = \theta \, \mathbb{E}[G_{(k)}]$，$\mathbb{E}[G_{\leq \omega_q}] = \theta \, \mathbb{E}[G_{(n-k+1)}]$。则存在仅依赖于$(q, s, \theta)$的常数$C_1, C_2, C_3, C_4 > 0$，使得对每个$\epsilon \in (0, C_3]$和每个整数$n \geq C_4 / \epsilon$，有
$$
\mathbb{P}\bigl(\bigl|\Xi_{n} - \tau_q\bigr| \geq \epsilon\bigr) \leq C_1 \, n^{-1/2} + 4 \exp\bigl(-C_2 n \epsilon^{2}\bigr). \tag{2}
$$

证明定理2.1的主要技术工具之一是顺序统计量的条件独立性（Ahsanullah等，2013）：在给定$G_{(k)}$的条件下，下块$(G_{(1)}, \ldots, G_{(k-1)})$与上块$(G_{(k+1)}, \ldots, G_{(n)})$条件独立，其中$k = \lceil qn \rceil$。由于$\Xi_{n}$的分子仅依赖于上块，分母分解为上块之和、下块之和与$G_{(k)}$之和，这种条件化将两个贡献解耦。在给定$G_{(k)}$条件下，问题简化为控制诱导截断分布下的和，从而可使用具有Berry–Esseen误差控制的中心极限定理近似，以及对随机阈值$G_{(k)}$的单独集中性估计。式(2)中的$O(n^{-1/2})$项来自在条件值$G_{(k)}$上一致界Berry–Esseen余项。$\exp(-C_2 n \epsilon^2)$项有两个主要来源：在典型事件$|G_{(k)} - \omega_q| < \epsilon$上，条件中心极限定理将偏差事件$|\Xi_{n} - \tau_q| > \epsilon$转化为尺度为$\sqrt{n}\epsilon$的高斯尾事件，产生因子$\exp(-c n \epsilon^2)$。另外，随机阈值落在此典型区域外的概率$\mathbb{P}(|G_{(k)} - \omega_q| > \epsilon)$贡献额外的$\exp(-c n \epsilon^2)$项。

对神经网络应用而言，以下推论特别重要。

###### 推论 2.2
假设$\mathbf{w}$在$\mathbb{S}^{n-1}$上均匀分布。设$\mathbf{w}_{\mathrm{p}}$是通过率$q$的一次幅值剪枝获得，$\widetilde{\mathbf{w}}_{\mathrm{p}}$表示重归一化剪枝向量。当$n \to \infty$时，有
$$
\mathbf{w}^{\top}\widetilde{\mathbf{w}}_{\mathrm{p}} \rightarrow \sqrt{\tau_q}, \quad \mathbf{w}^{\top}\mathbf{w}_{\mathrm{p}} \rightarrow \tau_q,
$$
其中$\tau_q$在式(1)中定义，取$G \sim \mathrm{Gamma}(\tfrac{1}{2}, 2)$。

图 1：$\mathbf{w}$与其幅值剪枝版本之间的渐近相似度作为剪枝率$q$的函数。

因此，一次幅值剪枝在高维空间中保留了与原始神经元的确定性相似度：$\mathbf{w}_{\mathrm{p}}$及其重归一化版本$\widetilde{\mathbf{w}}_{\mathrm{p}}$与$\mathbf{w}$的内积相似度在$n$增长时不趋于零，其内积分别收敛于$\tau_q$和$\sqrt{\tau_q}$。此外，该极限相似度是剪枝率$q$的非线性函数，即使在激进剪枝下也接近1。例如，在$q=0.4$（保留60%坐标）时，我们得到$\mathbf{w}^{\top}\widetilde{\mathbf{w}}_{\mathrm{p}} \approx 0.982$，对应约$10.8^\circ$的夹角；另见图1。特别地，一次剪枝在高维空间的单神经元层面仅引起微小的方向失真，为之前工作中报告的强劲经验性能提供了第一性原理解释。

该集中性框架可扩展到分块半结构化$N:M$剪枝（Frantar与Alistarh，2023；Liu等，2026）。我们在附录A.5中推导了封闭形式的极限相似度。

我们现在转向单神经元的自适应机制。

## 3 自适应神经元
我们从*静态*计算缩减（对所有输入固定）转向单神经元层面的*自适应*机制。核心思想是先评估一个廉价的*部分*局部场，并使用其幅度作为置信度测试。若部分场置信，则提前退出；否则回退到全计算。本节通过条件感知机形式化该机制，并在师生设置中研究其计算-泛化权衡。

### 3.1 条件感知机
考虑输入$\mathbf{x} \in \mathbb{R}^n$和权重$\mathbf{w} \in \mathbb{R}^n$。我们使用与第2节相同的一次幅值剪枝和重归一化。对于剪枝率$q \in (0,1)$，令$k = \lceil qn \rceil$，$\mathbf{w}_{\mathrm{p}}$为通过置零$\mathbf{w}$中幅度最小的$k$个坐标获得的幅值剪枝版本。在本节中，使用重归一化$\widetilde{\mathbf{w}}_{\mathrm{p}} = \|\mathbf{w}\| \mathbf{w}_{\mathrm{p}} / \|\mathbf{w}_{\mathrm{p}}\|$更为方便，我们称其为早退出向量。全计算和部分局部场分别为$v_0 \triangleq \mathbf{w}^{\top}\mathbf{x}$和$v_1 \triangleq \widetilde{\mathbf{w}}_{\mathrm{p}}^{\top}\mathbf{x}$。