基于可控性-可观测性测试的深度神经网络经验最小实现压缩

# 深度神经网络的经验最小实现压缩：基于可控性–可观性检验

来源：https://arxiv.org/html/2607.05457

###### 摘要

深度神经网络通常包含大量隐状态冗余，但大多数压缩方法直接作用于权重、神经元或量化表示，而未明确刻画内部状态的动态角色。本文提出了一种基于可控性–可观性框架的深度神经网络经验状态阶次约简方法。通过将训练后的网络视为深度索引非线性动态系统，我们利用隐状态快照和输出雅可比矩阵构建数据驱动的可达性、可观性和平衡格拉姆矩阵。由此产生的A/B/C检验可估计每层的可达秩、可观秩以及联合可达–可观秩。这些秩不仅用作隐状态冗余的诊断指标，还直接作为实际压缩网络的隐层宽度。在MNIST和CIFAR-10上的实验将所提出的平衡实现与基于投影的约简、非结构化剪枝、结构化剪枝、低秩SVD、动态INT8量化和线性基线进行了比较。在MNIST上，一个四层SiLU DNN从状态阶次1024降至277，实现72.95%的状态压缩和73.48%的参数压缩，同时保持95.45%的准确率（全模型为96.60%）。在CIFAR-10上，一个更大的SiLU DNN从状态阶次4608降至1339，实现70.94%的状态压缩和83.09%的参数压缩，同时准确率从54.45%保持至54.44%，并将CUDA推理延迟降低约3倍。结果表明，平衡可达–可观秩为设计紧凑且几乎不损失精度的神经架构提供了一种有原则的经验最小实现准则。

## I 引言

深度神经网络在分类、感知和表示学习任务中取得了强劲性能，但其高参数计数和宽隐层常使其在资源受限硬件上部署成本高昂。因此，神经网络压缩已成为一个重要研究方向。现有方法包括剪枝、量化、低秩分解和知识蒸馏[6 (https://arxiv.org/html/2607.05457#bib.bib1),8 (https://arxiv.org/html/2607.05457#bib.bib2),4 (https://arxiv.org/html/2607.05457#bib.bib3),9 (https://arxiv.org/html/2607.05457#bib.bib4),11 (https://arxiv.org/html/2607.05457#bib.bib5)]。这些方法能显著减少存储或计算成本，但通常直接作用于权重、神经元、通道或数值精度。它们并未明确回答一个状态空间问题：哪些隐状态方向实际被数据分布激励，以及哪些方向对输出是相关的？

本文提出了一种控制理论视角的神经压缩方法。我们将前馈DNN解释为深度索引的非线性状态空间系统：

hℓ+1 = fℓ(hℓ),   z = g(hL),   (1)

其中hℓ表示第ℓ层的隐状态，z表示输出logits。这种动态系统解释与残差网络、神经常微分方程、稳定深度架构以及深度学习的优化控制公式先前的观点密切相关[7 (https://arxiv.org/html/2607.05457#bib.bib8),5 (https://arxiv.org/html/2607.05457#bib.bib9),3 (https://arxiv.org/html/2607.05457#bib.bib10),14 (https://arxiv.org/html/2607.05457#bib.bib11),2 (https://arxiv.org/html/2607.05457#bib.bib12)]。然而，我们并非主要利用此视角追求稳定性或连续深度建模，而是用它来估计训练后网络的有用隐状态阶次。

关键思想是：宽DNN中并非每个隐方向都同等重要。一个方向可能被输入数据激励，但对输出logits影响甚微；反之，一个方向可能对输出敏感，但很少被数据分布访问。受模型约简中可控性、可观性和平衡截断的启发[13 (https://arxiv.org/html/2607.05457#bib.bib13),1 (https://arxiv.org/html/2607.05457#bib.bib14),10 (https://arxiv.org/html/2607.05457#bib.bib15)]，我们为每个隐层提出三种经验检验。检验A利用隐状态快照协方差衡量可达性。检验B利用输出logits关于隐状态的雅可比矩阵衡量可观性。检验C通过平衡可达–可观矩阵结合两者。由此得到的逐层C平衡秩估计了同时被数据到达且输出可观测的隐方向数量。

本工作的一个核心区别在于投影状态约简与实际神经压缩。投影约简模型使用学习到的投影基将隐状态映射到低维坐标。这对于诊断低维隐表示的存在性很有用，但仍存储原始完整网络。相反，本文提出的实际C平衡压缩直接将C平衡秩用作新紧凑DNN的隐层宽度。因此，宽度为[n1, n2, ..., nL]的完整网络被替换为宽度为[r1, r2, ..., rL]的实际压缩架构，其中rℓ ≪ nℓ。这便将经验状态阶次估计转化为真正的参数压缩网络。

所提出的框架在准则和解释上均不同于标准压缩方法。非结构化剪枝移除单个权重，但可能不会降低密集推理延迟。结构化剪枝移除神经元或通道，但通常依赖局部重要性分数。低秩分解压缩权重矩阵，但未明确保持非线性隐状态几何。量化降低数值精度，但保持隐状态阶次不变。相比之下，所提出方法是基于状态的：它根据从数据联合可达且通过分类器输出可观测的方向来压缩网络。

我们在MNIST和CIFAR-10上使用全连接SiLU DNN评估所提出方法。在MNIST上，C平衡检验将隐状态阶次从1024降至277，对应72.95%的状态压缩。实际C平衡模型将参数计数从400,906降至106,323，实现73.48%的参数压缩，同时保持95.45%的准确率（全模型为96.60%）。在CIFAR-10上，C平衡检验将隐状态阶次从4608降至1339，实现70.94%的状态压缩。实际压缩模型将参数计数从9.97M降至1.69M，实现83.09%的参数压缩，同时准确率从54.45%保持至54.44%，并将CUDA推理延迟降低约3.0倍。

本文的主要贡献总结如下：

- • 将前馈DNN表述为深度索引的非线性状态空间系统，并将隐状态阶次定义为与参数计数不同的压缩相关量。
- • 提出用于估计逐层有用隐状态维度的经验可达性、可观性和平衡可达–可观性检验。
- • 引入实际C平衡神经压缩，其中C平衡秩直接用作紧凑网络的隐层宽度。
- • 将所提出方法与基于投影的约简、非结构化剪枝、结构化剪枝、低秩SVD、动态INT8量化、蒸馏和线性基线进行比较。
- • 在MNIST和CIFAR-10上展示了显著的状态阶次和参数缩减，且几乎不损失准确率。

论文其余部分组织如下。第二节回顾神经压缩、DNN的动态系统观点以及经验模型约简。第三节将DNN表述为非线性状态空间系统并定义压缩目标。第四节介绍经验的A/B/C可控性–可观性检验。第五节介绍实际C平衡压缩过程。第六节报告MNIST和CIFAR-10实验。第七节讨论局限性和未来扩展，第八节总结全文。

## II 相关工作

本工作将神经网络压缩与控制理论模型约简联系起来。现有压缩方法通常减少权重、神经元、通道或数值精度。相比之下，所提出方法使用经验可达性和可观性检验估计训练后网络的有用隐状态阶次。本节回顾最相关的文献，并将所提出方法定位于先前工作。

### II-A 神经网络压缩

神经网络压缩作为减少内存占用、计算成本和推理延迟的方式已得到广泛研究。一大类方法是剪枝，即从训练后的模型中移除冗余权重、神经元、滤波器或通道。深度压缩结合剪枝、训练量化和熵编码显著减少神经网络的存储需求[6 (https://arxiv.org/html/2607.05457#bib.bib1)]。非结构化剪枝移除单个权重，可实现高稀疏度，但除非使用稀疏核，否则不一定减少密集矩阵维度或硬件延迟。结构化剪枝移除完整的神经元、滤波器或通道，因此更适合实际加速。

通道级剪枝方法旨在生成更薄的可用网络。网络瘦身使用批归一化尺度参数上的稀疏正则化来识别并移除不重要的通道[11 (https://arxiv.org/html/2607.05457#bib.bib5)]。其他剪枝研究也表明，最终压缩架构可能比继承原始剪枝权重更重要。特别是，Liu等人认为，对于某些结构化剪枝设置，从头训练剪枝架构可以匹配甚至优于微调继承的权重[12 (https://arxiv.org/html/2607.05457#bib.bib6)]。此观察与我们的实际压缩策略密切相关：C平衡秩用于定义压缩架构，然后训练为一个新的紧凑模型。

低秩分解提供了另一个重要的压缩方向。Denton等人通过用低秩近似替换大型线性或卷积运算，利用卷积网络中的近似线性结构[4 (https://arxiv.org/html/2607.05457#bib.bib3)]。此类方法通过分解权重矩阵或卷积张量来减少计算。然而，低秩压缩通常是逐层局部的且以权重为中心。它并未明确考虑保留的方向是否被输入分布激励或在输出端可观测。我们的实验表明，与所提出的基于状态的C平衡实现相比，简单的逐层SVD可能会显著降低准确率。

量化降低权重和激活的数值精度。已开发出仅整数量化方案，以便在低功耗和移动硬件上实现高效推理[9 (https://arxiv.org/html/2607.05457#bib.bib4)]。量化可以减少内存带宽并提高部署效率，但保持隐状态阶次和架构宽度不变。因此，量化与所提出方法是互补的：C平衡压缩减少隐坐标数量，而量化减少剩余计算的数值精度。

知识蒸馏通过匹配软化的输出分布将大型教师模型压缩为较小的学生模型[8 (https://arxiv.org/html/2607.05457#bib.bib2)]。蒸馏通常有效，因为教师logits包含硬标签之外的额外类别相似性信息。在本文中，蒸馏被用作实际C平衡网络的可选训练策略。然而，主要新颖之处并非蒸馏损失本身，而是学生架构的选择方式：其层宽度由经验平衡可达–可观秩决定。

### II-B 深度网络的动态系统观点

越来越多的研究工作将深度网络解释为沿深度维度演化的动态系统。残差网络可写为：

hℓ+1 = hℓ + φℓ(hℓ),   (2)

这类似于连续时间动态系统的前向欧拉离散化[7 (https://arxiv.org/html/2607.05457#bib.bib8)]。这一解释催生了深度神经网络的稳定架构，其中前向传播使用常微分方程和数值稳定性工具进行分析[5 (https://arxiv.org/html/2607.05457#bib.bib9)]。神经常微分方程通过用学习的连续深度ODE替换有限层序列，使这种联系显式化[3 (https://arxiv.org/html/2607.05457#bib.bib10)]。PDE启发的解释也被用于激励新的卷积和残差架构[14 (https://arxiv.org/html/2607.05457#bib.bib11)]。此外，深度学习的优化控制公式将训练解释为深度索引动态系统上的控制问题[2 (https://arxiv.org/html/2607.05457#bib.bib12)]。

这些工作主要关注稳定性、可训练性、表达能力或连续深度建模。我们的工作将动态系统视角用于不同目的：估计训练后网络的有用隐状态阶次。通过将隐激活视为状态，我们可以询问每个隐方向是否从数据分布可达，以及是否通过输出logits可观测。这自然引出了经验可控性和可观性检验。

### II-C 经典模型约简与平衡截断

模型约简是控制理论和数值线性代数中的一个经典课题。目标是用一个保留重要输入输出行为的低维系统来近似高维动态系统。平衡截断是一种特别有影响力的方法，因为它同时使用可控性和可观性格拉姆矩阵来识别既难控制又难观测的状态[13 (https://arxiv.org/html/2607.05457#bib.bib13),1 (https://arxiv.org/html/2607.05457#bib.bib14),10 (https://arxiv.org/html/2607.05457#bib.bib15)]。在线性系统中，平衡坐标揭示了按Hankel奇异值排序的状态方向，截断弱平衡方向可得到具有输入输出相关性的约简模型。

平衡截断的哲学与神经压缩的目标高度一致。一个隐方向不应仅仅因为存在于宽层就被保留；只有当它既被输入分布到达又于输出相关时才应保留。然而，标准平衡截断是针对具有已知显式状态方程的线性系统制定的。将类似想法应用于已训练的非线性DNN需要经验构造，我们将在下一节描述。