基于Fisher Information Distances的神经架构最优剪枝

# 使用Fisher信息距离进行神经架构的最优剪枝
来源：https://arxiv.org/html/2609.16129

颜于傅 注：[email protected]
爱德华·赫斯特 注：[email protected]
塞尔玛·奇韦特·奥比拉伊 注：[email protected]

作者按字母顺序排列。
2026年9月14日

1伦敦玛丽女王大学理论物理中心，英国伦敦E1 4NS，Mile End Road
2坎皮纳斯大学数学、统计与科学计算研究所（Unicamp），巴西13083-859

###### 摘要

本文提出了一种新的参数剪枝方案，该方案源于模型空间中的微分几何距离。剪枝一个参数即将其值设为零，这表示模型移动到了该参数为零的超曲面上。未剪枝模型到该超曲面的最小距离，可以自然地通过由Fisher信息度量确定的模型空间中的测地线距离来计算。该距离决定了剪枝后模型的真实变化及其性能。通过分析对该测地线距离的逐步更精确的近似，确定了剪枝方法自然的最优性层次。这从传统的幅度剪枝开始，然后发展为新的更复杂、更有效的剪枝方案。该方法在MNIST和CIFAR-10数据集上，针对全连接网络和视觉Transformer两种架构，在整个0-100%剪枝范围内以及五个随机种子上进行了演示。在考虑的所有架构和数据集组合中，它在准确率和马修斯相关系数方面均优于基于参数幅度和仅基于局部Fisher信息的剪枝方法。此外，对不同级别测地线近似的分析产生了计算效率高且保持近最优性能的中间剪枝方案。这一几何图景不仅为AI模型提供了最先进的剪枝方法论，还为剪枝方案提供了经过验证的、有数学动机的依据。

![[无标题图片]](https://arxiv.org/html/2609.16129v1/figures/github.png)：https://github.com/edhirst/Fdist_Pruning

###### 目录

1.  [引言](https://arxiv.org/html/2609.16129#S1)
2.  [背景](https://arxiv.org/html/2609.16129#S2)
    1.  [神经架构](https://arxiv.org/html/2609.16129#S2.SS1)
    2.  [数据集](https://arxiv.org/html/2609.16129#S2.SS2)
    3.  [Fisher信息](https://arxiv.org/html/2609.16129#S2.SS3)
    4.  [模型空间的信息几何](https://arxiv.org/html/2609.16129#S2.SS4)
    5.  [现有剪枝方案](https://arxiv.org/html/2609.16129#S2.SS5)
        1.  [幅度剪枝](https://arxiv.org/html/2609.16129#S2.SS5.SSS1)
        2.  [Fisher剪枝](https://arxiv.org/html/2609.16129#S2.SS5.SSS2)
    6.  [与本工作的关系](https://arxiv.org/html/2609.16129#S2.SS6)
3.  [Fisher距离剪枝方案的推导](https://arxiv.org/html/2609.16129#S3)
    1.  [距离度量](https://arxiv.org/html/2609.16129#S3.SS1)
    2.  [评估的估计量](https://arxiv.org/html/2609.16129#S3.SS2)
4.  [数值验证](https://arxiv.org/html/2609.16129#S4)
    1.  [协议](https://arxiv.org/html/2609.16129#S4.SS1)
    2.  [比较性能](https://arxiv.org/html/2609.16129#S4.SS2)
    3.  [近似层次结构](https://arxiv.org/html/2609.16129#S4.SS3)
    4.  [路径分辨率](https://arxiv.org/html/2609.16129#S4.SS4)
    5.  [计算成本](https://arxiv.org/html/2609.16129#S4.SS5)
5.  [总结](https://arxiv.org/html/2609.16129#S5)
6.  [附录A 马修斯相关系数结果](https://arxiv.org/html/2609.16129#A1)
7.  [参考文献](https://arxiv.org/html/2609.16129#bib)

## 1 引言

训练后的神经架构绝大多数是过参数化的。其很大一部分权重可以在性能损失不大的情况下被移除，而这样做带来的实际价值（在内存、延迟、能耗方面）使得*剪枝*成为部署流程中的标准步骤\[1 ([https://arxiv.org/html/2609.16129#bib.bib1](https://arxiv.org/html/2609.16129#bib.bib1)), 2 ([https://arxiv.org/html/2609.16129#bib.bib2](https://arxiv.org/html/2609.16129#bib.bib2)), 3 ([https://arxiv.org/html/2609.16129#bib.bib3](https://arxiv.org/html/2609.16129#bib.bib3))\]。每种剪枝方法都依赖于一个*重要性度量*：一个分配给每个参数的标量，用于确定丢弃参数的顺序。由于剪枝后模型的质量几乎完全由该排序决定，因此度量的选择对于确保有效剪枝至关重要。

迄今为止，两种方法在工业实践中占据主导地位。第一种，也是迄今为止最广泛使用的，是参数幅度 \|θk\| \|\\theta^{k}\| \[1 ([https://arxiv.org/html/2609.16129#bib.bib1](https://arxiv.org/html/2609.16129#bib.bib1)), 4 ([https://arxiv.org/html/2609.16129#bib.bib4](https://arxiv.org/html/2609.16129#bib.bib4))\]。一个接近于零的权重被认为在作用上不重要，假设是将其设为零只会轻微改变模型。第二种则诉诸于对数似然的局部曲率。从"最优脑损伤"和"最优脑外科医生"工作 \[5 ([https://arxiv.org/html/2609.16129#bib.bib5](https://arxiv.org/html/2609.16129#bib.bib5)), 6 ([https://arxiv.org/html/2609.16129#bib.bib6](https://arxiv.org/html/2609.16129#bib.bib6))\] 到基于Fisher的标准 \[7 ([https://arxiv.org/html/2609.16129#bib.bib7](https://arxiv.org/html/2609.16129#bib.bib7)), 8 ([https://arxiv.org/html/2609.16129#bib.bib8](https://arxiv.org/html/2609.16129#bib.bib8))\] 的一系列工作中，一个模型输出对其不敏感的权重被认为不重要，无论其大小如何。

本工作证明，这两种方法都只是在一个更大、更准确、更有效的框架内部分正确。第一种度量了一个位移，但是是在参数空间的欧几里得度量下（一种没有统计意义的度量，甚至在模型参数重参数化下也不具有不变性）。第二种仅在*训练点处*度量敏感性，并且没有说明为了将其清零从而移除该参数需要改变多少。问题的解决方案在于，剪枝根本不是无限小扰动。剪枝参数 θk \\theta^{k} 是将模型从其训练值 (θ∗)k (\\theta^{\\ast})^{k} 移动一个*有限*距离到超曲面 θk=0 \\theta^{k}=0。人们希望最小化的是此操作引起的网络所表示的*分布*的变化，而信息几何 \[9 ([https://arxiv.org/html/2609.16129#bib.bib9](https://arxiv.org/html/2609.16129#bib.bib9)), 10 ([https://arxiv.org/html/2609.16129#bib.bib10](https://arxiv.org/html/2609.16129#bib.bib10)), 11 ([https://arxiv.org/html/2609.16129#bib.bib11](https://arxiv.org/html/2609.16129#bib.bib11))\] 提供了一种通过Fisher信息矩阵（FIM）进行评估的自然方法。

Fisher信息矩阵是模型空间上的典型黎曼度量 \[12 ([https://arxiv.org/html/2609.16129#bib.bib12](https://arxiv.org/html/2609.16129#bib.bib12))\]，两个模型之间的距离是连接它们的最短路径的长度，通过对该路径上的度量进行积分得到。本工作的核心假设是参数的重要性由其到零的*Fisher测地线距离*决定。这源于模型空间的一种自然微分几何解释。§3 ([https://arxiv.org/html/2609.16129#S3](https://arxiv.org/html/2609.16129#S3)) 的推导本身就具有启发性。在粗略的简化假设下，即Fisher度量是对角矩阵，相关路径是沿 θk \\theta^{k} 的坐标线，并且度量沿该线是恒定的，Fisher距离简化为：

dI = √Ikk * |(θ∗)k|, d_{I} = √{I_{kk}}\\,\\big|(\\theta^{\\ast})^{k}\\big|, (1.1)

即幅度准则与（开平方后的）Fisher准则的乘积。一旦做出简化假设，这两种标准度量就被重新发现为一个单一几何量的因子。它们作为相互竞争的启发式方法，仅仅是在忽略其中一个因子并假设满足所需简化假设的情况下产生的伪影。因此，有两个直接的改进方向。第一个是考虑完整的Fisher距离，第二个是放宽恒定性假设。然后，可以通过在每个剪枝步骤重新计算度量，然后在路径本身的 K K 个点上求解它，来生成一系列逐步逼近真实Fisher距离的近似层次。

我们评估了这个层次与幅度和Fisher基线在两个架构（一个全连接网络和一个视觉Transformer）、两个标准数据集（MNIST和CIFAR-10）上的表现，涵盖了整个0–100% 100\\% 的剪枝范围，并在五个随机种子上取平均。得出了三个发现。首先，在考虑的全部四种架构-数据集组合中，Fisher距离系列的剪枝方法在准确率和马修斯相关系数方面始终优于幅度和局部FIM基线方法。其次，在其中三种组合中，Fisher准则本身*比*幅度准则更差，在Transformer上尤为明显，这表明其优势不能归因于二阶信息，而是它与位移的结合。第三，也是最意想不到的，在这个新的近似系列中，最精确的测地线距离近似通常带来的改进可以忽略不计，因此，更容易计算的（更便宜的）近似方法与最佳近似方法的表现一样好。

需要强调的是，低级近似的计算效率意味着它们在规模化高效剪枝方面具有真正的潜力。因此，这一几何图景提供了两样东西：一个更好的模型参数重要性度量，以及一系列高效且有效的廉价近似方法。

论文组织如下。第§2节 ([https://arxiv.org/html/2609.16129#S2](https://arxiv.org/html/2609.16129#S2)) 收集了关于所考虑架构的背景、Fisher信息及其在模型空间上诱导的几何结构，以及与这些新方法进行比较的现有标准剪枝方案。第§3节 ([https://arxiv.org/html/2609.16129#S3](https://arxiv.org/html/2609.16129#S3)) 推导了Fisher距离度量及其近似层次。第§4节 ([https://arxiv.org/html/2609.16129#S4](https://arxiv.org/html/2609.16129#S4)) 展示了数值结果和分析，第§5节 ([https://arxiv.org/html/2609.16129#S5](https://arxiv.org/html/2609.16129#S5)) 对这些结果进行了总结。工作使用Python完成，基于pytorch \[13 ([https://arxiv.org/html/2609.16129#bib.bib13](https://arxiv.org/html/2609.16129#bib.bib13))\]，脚本可在本工作的GitHub ([https://github.com/edhirst/Fdist_Pruning](https://github.com/edhirst/Fdist_Pruning)) 仓库中获取。

## 2 背景

### 2.1 神经架构

用于分类的神经网络是一个参数化映射 fθ: X→RC f_{\\theta}:\\mathcal{X}\\to\\mathbb{R}^{C}，将输入映射到 C C 个类别对数几率，其参数 θ∈RP \\theta\\in\\mathbb{R}^{P} 通过最小化训练集上的损失来拟合。将 fθ f_{\\theta} 与softmax组合使得网络成为一个条件概率模型，

p(y=c∣x,θ) = exp(fθ(x)_c) / Σ_{c'=1}^C exp(fθ(x)_{c'}), p(y=c\\mid x,\\theta)=\\frac{\\exp\\big(f_{\\theta}(x)_{c}\\big)}{\\sum_{c'=1}^{C}\\exp\\big(f_{\\theta}(x)_{c'}\\big)}, (2.1)

正是这种对网络的解释（作为概率分布空间中的一个点，而不是一个函数）是§2.4 ([https://arxiv.org/html/2609.16129#S2.SS4](https://arxiv.org/html/2609.16129#S2.SS4)) 中几何所需要的。参数向量 θ \\theta 是该空间上的一个坐标系，剪枝是其中的有限运动。

我们考虑两种架构，旨在覆盖从最简单实用模型到现代基于注意力的模型之间的差距，同时保持足够小，以便第§3节 ([https://arxiv.org/html/2609.16129#S3](https://arxiv.org/html/2609.16129#S3)) 的精确计算是可负担的。第一个称为SimpleNN，是一个全连接网络：输入图像被展平并经过两个宽度为 64 64 的隐藏层（使用ReLU激活函数）到达 C=10 C=10 的输出层。其参数数量由输入维度决定，在 28×28 28\\times 28 灰度数据（MNIST）上为 55,050 55\\{,\\}050 个参数，在 32×32 32\\times 32 彩色数据（CIFAR）上为 201,482 201\\{,\\}482 个参数。第二个称为SimpleViT，是一个紧凑的视觉Transformer \[14 ([https://arxiv.org/html/2609.16129#bib.bib14](https://arxiv.org/html/2609.16129#bib.bib14))\]，其类型设计用于在小型数据集上从头训练 \[15 ([https://arxiv.org/html/2609.16129#bib.bib15](https://arxiv.org/html/2609.16129#bib.bib15))\]。图像通过步长卷积被分成 4×4 4\\times 4 个patch，嵌入到维度 128 128 中，并添加可学习的位置嵌入；随后是四个带有四个注意力头的pre-norm Transformer块 \[16 ([https://arxiv.org/html/2609.16129#bib.bib16](https://arxiv.org/html/2609.16129#bib.bib16))\]，token表示在进入线性分类头之前进行平均池化。这提供了大约 5.4×10^5 5.4\\times 10^{5} 个参数。遵循Transformer稀疏性的标准实践，LayerNorm参数和位置嵌入（合计约占总参数的 1.9% 1.9\\%）被排除在剪枝之外，但报告的剪枝率仍然是相对于*所有*参数的比例，以便不同架构之间的扫描可以直接比较。

### 2.2 数据集

使用的两个数据集是MNIST \[17 ([https://arxiv.org/html/2609.16129#bib.bib17](https://arxiv.org/html/2609.16129#bib.bib17))\]，28×28 28\\times 28 灰度手写数字，和CIFAR-10 \[18 ([https://arxiv.org/html/2609.16129#bib.bib18](https://arxiv.org/html/2609.16129#bib.bib18))\]，32×32 32\\times 32 彩色自然图像；两者都是十类平衡分类问题，各有 60,000 60\\{,\\}000 个训练样本和 10,000 10\\{,\\}000 个测试样本。每个数据集都与每种架构一起使用，形成四个测试平台。这种配对是有意为之，而不仅仅是惯例。MNIST足够简单，一个小网络在大部分权重被移除之前都能保持其基本准确性，因此竞争性的重要性度量在大部分剪枝范围内是无法区分的，只在极端尾部分离。CIFAR-10对于两种架构在剪枝下都会逐渐退化，在那里可以在整个 0–100% 100\\% 范围内比较这些方案。包含两者突出了这种上限效应，如§4.2 ([https://arxiv.org/html/2609.16129#S4.SS2](https://arxiv.org/html/2609.16129#S4.SS2)) 中所报告。

### 2.3 Fisher信息

设 p(x|θ) p(x\\,|\\,\\theta) 是一个参数化概率密度族，其中 θ∈Rn \\theta\\in\\mathbb{R}^{n} 是该参数化族的模型参数向量。则，Fisher信息矩阵（FIM） I(θ)∈Rn×n I(\\theta)\\in\\mathbb{R}^{n\\times n} 量化了对数似然的曲率，并为θ所张成的模型空间上的参数流形引入了一个自然的黎曼度量。FIM可以用两种方式定义：

Iij(θ) = E_{(x,y)∼D} [ Σ_{b=1}^B Σ_{c=1}^C (∂/∂θi log p(yb,c|xb,θ)) (∂/∂θj log p(yb,c|xb,θ)) ],
I_{ij}(\\theta)=\\mathbb{E}_{(x,y)\\sim\\mathcal{D}}\\Bigg[\\sum_{b=1}^{B}\\sum_{c=1}^{C}\\bigg(\\frac{\\partial}{\\partial\\theta^{i}}\\log p\\big(y_{b,c}\\mid x_{b},\\theta\\big)\\bigg)\\bigg(\\frac{\\partial}{\\partial\\theta^{j}}\\log p\\big(y_{b,c}\\mid x_{b},\\theta\\big)\\bigg)\\Bigg], (2.2)

Iij(θ) = - E_{(x,y)∼D} [ Σ_{b=1}^B Σ_{c=1}^C ∂²/∂θi∂θj log p(yb,c|xb,θ) ].
I_{ij}(\\theta)=-\\,\\mathbb{E}_{(x,y)\\sim\\mathcal{D}}\\Bigg[\\sum_{b=1}^{B}\\sum_{c=1}^{C}\\frac{\\partial^{2}}{\\partial\\theta^{i}\\partial\\theta^{j}}\\log p\\big(y_{b,c}\\mid x_{b},\\theta\\big)\\Bigg]. (2.3)

其中 (x,y) (x,y) 是从数据分布 D \\mathcal{D} 中抽取的（输入，输出）对，b b 遍历有限的输入数据批（对应于完整数据空间上的积分），c c 是输出坐标（即分类问题的类别索引，或回归问题的输出维度）。FIM可以写成以下两种形式之一：

1. 1.  期望的分数外积，(2.2 ([https://arxiv.org/html/2609.16129#S2.E2](https://arxiv.org/html/2609.16129#S2.E2)))。
2.  2.  对数似然的负期望海森矩阵，(2.3 ([https://arxiv.org/html/2609.16129#S2.E3](https://arxiv.org/html/2609.16129#S2.E3)))。

在温和的正则条件下（允许通过分部积分法交换积分和微分，并且分数具有零均值），这两种形式是相同的。