通过神经网络中的近似对称性解释接近零的海森特征值

# 通过神经网络近似对称解释近零Hessian本征值
来源：https://arxiv.org/html/2607.07845
\\pdfximage

hessian\_supplement\.pdf

Marcel Kühn莱比锡大学理论物理研究所，04103 莱比锡，德国ScaDS\.AI 德累斯顿/莱比锡，04105 莱比锡，德国

###### 摘要

训练损失的Hessian矩阵决定了损失景观的局部几何结构，然而，尽管其最大本征值已存在解释，大量几乎为零的本征值的起源仍然难以捉摸。我们认为，这些本征值构成的主体对应于网络参数化连续对称性的弱提升赝戈德斯通模。在深度线性网络中，这些对称性是精确的：它们生成平坦方向，从而产生精确的零模，我们显式构造了其本征向量。将ReLU非线性作为微扰引入后，我们展示了它弱且显式地破坏了这些对称性。在本征向量层面解析谱结构，我们发现高曲率方向与对称性子空间正交，而主体几乎完全位于该子空间内。我们在两层ReLU学生-教师模型和基于CIFAR-10训练的网络中演示了这一机制。一个卷积示例表明，相同的诊断方法可扩展到全连接层之外。这些结果共同将Hessian主体与弱破对称性联系起来，并阐明了近零模的起源。

*引言—*损失景观的几何结构，编码在训练损失的Hessian矩阵H中，构成了我们对深度网络优化和泛化理解的基础[41 (https://arxiv.org/html/2607.07845#bib.bib44),21 (https://arxiv.org/html/2607.07845#bib.bib42),7 (https://arxiv.org/html/2607.07845#bib.bib43),6 (https://arxiv.org/html/2607.07845#bib.bib24),13 (https://arxiv.org/html/2607.07845#bib.bib47)]。它设定了与二阶优化相关的局部曲率[3 (https://arxiv.org/html/2607.07845#bib.bib2),46 (https://arxiv.org/html/2607.07845#bib.bib1),45 (https://arxiv.org/html/2607.07845#bib.bib3),62 (https://arxiv.org/html/2607.07845#bib.bib4)]，反复通过最小值平坦度与泛化联系起来[27 (https://arxiv.org/html/2607.07845#bib.bib6),35 (https://arxiv.org/html/2607.07845#bib.bib7),15 (https://arxiv.org/html/2607.07845#bib.bib8),12 (https://arxiv.org/html/2607.07845#bib.bib9),29 (https://arxiv.org/html/2607.07845#bib.bib10)]，并出现在剪枝、鲁棒性和模式连通性分析中[40 (https://arxiv.org/html/2607.07845#bib.bib11),25 (https://arxiv.org/html/2607.07845#bib.bib12),56 (https://arxiv.org/html/2607.07845#bib.bib13),17 (https://arxiv.org/html/2607.07845#bib.bib14),61 (https://arxiv.org/html/2607.07845#bib.bib15),48 (https://arxiv.org/html/2607.07845#bib.bib16),58 (https://arxiv.org/html/2607.07845#bib.bib17),20 (https://arxiv.org/html/2607.07845#bib.bib22),11 (https://arxiv.org/html/2607.07845#bib.bib19),2 (https://arxiv.org/html/2607.07845#bib.bib23),28 (https://arxiv.org/html/2607.07845#bib.bib21)]。

经验上，深度网络Hessian谱高度各向异性：少数大异常值下方密集分布着小且几乎为零的本征值主体[53 (https://arxiv.org/html/2607.07845#bib.bib25),54 (https://arxiv.org/html/2607.07845#bib.bib26),22 (https://arxiv.org/html/2607.07845#bib.bib27)]，后者与数据和类别结构相关[49 (https://arxiv.org/html/2607.07845#bib.bib28),50 (https://arxiv.org/html/2607.07845#bib.bib29)]。利用置换对称性[4 (https://arxiv.org/html/2607.07845#bib.bib33),5 (https://arxiv.org/html/2607.07845#bib.bib34)]对浅层ReLU Hessian的分析研究以及紧密相关的Fisher矩阵的随机矩阵分析[52 (https://arxiv.org/html/2607.07845#bib.bib30),31 (https://arxiv.org/html/2607.07845#bib.bib32),32 (https://arxiv.org/html/2607.07845#bib.bib31)]证实，非线性网络通常携带许多小但非零的本征值。缺失的是一个单一的、可识别的主体的起源。

我们提出，特别是在全连接网络中，主体是特定架构的弱破连续对称性的谱特征。线性多层网络拥有精确的对称性——层间变换保持函数不变——这些对称性生成平坦方向，从而产生精确的零模。像标准ReLU这样的非线性弱破坏这些对称性：本应平坦的方向获得了小曲率，正如显式但弱破坏的连续对称性产生参数轻的赝戈德斯通模一样；在这个类比中，自发对称性破缺已在网络初始化时发生。额外的平坦方向可能来自低输入方差[41 (https://arxiv.org/html/2607.07845#bib.bib44)]，但数量通常少得多。这一图像自然地将损失景观的局部几何[16 (https://arxiv.org/html/2607.07845#bib.bib53)]与梯度下降限制在一个微小顶部子空间[24 (https://arxiv.org/html/2607.07845#bib.bib59)]联系起来，因为梯度与这些对称方向正交。

连续和离散的网络对称性及其对梯度和学习动态的影响此前已被研究过[14 (https://arxiv.org/html/2607.07845#bib.bib56),11 (https://arxiv.org/html/2607.07845#bib.bib19),55 (https://arxiv.org/html/2607.07845#bib.bib18),38 (https://arxiv.org/html/2607.07845#bib.bib35),59 (https://arxiv.org/html/2607.07845#bib.bib48),64 (https://arxiv.org/html/2607.07845#bib.bib20),44 (https://arxiv.org/html/2607.07845#bib.bib49)]，而由参数不可识别性导致的Fisher矩阵退化是奇异学习理论的核心[60 (https://arxiv.org/html/2607.07845#bib.bib62),18 (https://arxiv.org/html/2607.07845#bib.bib61)]。特别地，对称性与Hessian本征向量之间的一般恒等式[38 (https://arxiv.org/html/2607.07845#bib.bib35)]以及深度线性网络最小值处有限本征值的计数[57 (https://arxiv.org/html/2607.07845#bib.bib36),9 (https://arxiv.org/html/2607.07845#bib.bib37)]已经确立。在这篇短文中，我们从“计数”转向“本征向量”，从线性网络转向非线性网络。我们给出了多层线性网络中对称生成元的显式正交基；在本征向量层面，我们展示了这些对称性在非线性网络中和训练后近似保持；我们建立了非线性谱与线性谱之间的绝热联系；并将该机制扩展到卷积网络。

*对称性与零本征值—*我们考虑一个将输入x∈RN映射到输出f(θ,x)∈RC的模型f，参数θ∈Rd包含所有权重，损失L(θ)≔⟨l(f(θ,xi),yi)⟩i是对数据集求平均。Hessian矩阵为H=∂θ^2L。连续对称性是变换φ(α,θ)，满足L(φ(α,θ))=L(θ)，并且为简单起见φ(0,θ)=θ。其生成元为φ′≔∂αφ|α=0。我们允许非线性对称性（例如参数乘积和求逆），这在下面的卷积情形中是必要的。对于权重的线性对称性，φ=R(α)θ，且R(δα)≈1+δαG，那么φ′=Gθ。

对恒等条件∂αL|α=0=0关于θ求导，得到[38 (https://arxiv.org/html/2607.07845#bib.bib35)]

0=Hφ′+[∂θ(φ′)⊤]∂θL。 (1)
在临界点处，第二项消失，φ′是H的本征值为零的本征向量：损失的每一个连续对称性都是一个平坦方向。远离临界点处，沿φ′的曲率可能是有限的（参见旋转不变墨西哥帽势，End Matter, 图6 (https://arxiv.org/html/2607.07845#S1.F6)）。

*Hessian、Gauss-Newton与Fisher—*我们构建的架构对称性比一般的损失不变性更强：它们保持函数f本身不变，因此在*每一个*θ处，网络梯度与对称生成元正交，∂θ^⊤ f φ′=0。这一点很重要，因为根据Gauss-Newton分解，

H=⟨∂θfi^⊤ (∂f^2 li) ∂θ^⊤ fi⟩i + ⟨(∂f^⊤ li) ∂θ^2 fi⟩i, (2)
其中fi≔f(θ,xi)，li≔l(fi,yi)。第二项是残差，当输出插值标签时消失，在临界点附近很小[54 (https://arxiv.org/html/2607.07845#bib.bib26)]。第一项是广义Gauss-Newton矩阵F，对于输出凸的损失是半正定的，并且在*任意*参数下满足Fφ′=0，而等式1 (https://arxiv.org/html/2607.07845#S0.E1)仅保证临界点处的Hessian零模。对于均方误差和softmax交叉熵，F是与标签无关的Fisher信息矩阵[10 (https://arxiv.org/html/2607.07845#bib.bib51),26 (https://arxiv.org/html/2607.07845#bib.bib50)]，并且等于以网络自身输出为标签的自靶损失的Hessian：

F=∂θ′^2 ⟨l(fi(θ′),fi(θ))⟩i |θ′=θ。 (3)
F本身是自然梯度优化的度量标准和一个标准的曲率探针[3 (https://arxiv.org/html/2607.07845#bib.bib2),47 (https://arxiv.org/html/2607.07845#bib.bib5),52 (https://arxiv.org/html/2607.07845#bib.bib30)]。每当等式2 (https://arxiv.org/html/2607.07845#S0.E2)中的残差消失时，例如在下面插值的学生-教师实验中，Hessian继承这些零模。

*线性网络：精确对称性及其本征向量—*考虑两层线性网络flin(θ,x)=W(2)W(1)x，其中W(1)∈R^{N×N}，W(2)∈R^{C×N}，θ堆叠两者（d=N^2+NC）。在层之间插入任意可逆矩阵M及其逆矩阵不改变输出，因此网络具有一般线性群GL_N(R)下的对称性。我们限制在包含恒等元的正行列式子群GL_N^+(R)[14 (https://arxiv.org/html/2607.07845#bib.bib56),38 (https://arxiv.org/html/2607.07845#bib.bib35)]。其生成元是矩阵A∈R^{N×N}，通过M=e^{αA}作用为

W(2) e^{-αA} e^{αA} W(1) x = W(2) W(1) x, (4)
它将权重映射到e^{αA}W(1)，W(2)e^{-αA}，并得到生成元

φ_A′ = (vec(AW(1)); vec(-W(2)A))。 (5)
N^2个独立的A可以组织为抵消缩放（对角A）、旋转（反对称A）和双曲旋转（对称非对角A）。即使存在非线性激活，离散置换对称性（图1 (https://arxiv.org/html/2607.07845#S0.F1)）仍然存在，但不是连续的，不产生零本征值。

超越计数，我们显式展示了本征向量。利用奇异值分解W(k)=U(k) S(k) (V(k))^⊤，k=1,2，选择A^{(n,m)}≔v_n^{(2)} (u_m^{(1)})^⊤，由相应的奇异向量构成，使得生成元（5 (https://arxiv.org/html/2607.07845#S0.E5)）相互正交（End Matter）。这N^2个正交生成元精确张成H的零空间。因此，对称性恰好诱导N^2个零模，这些零模在任意参数和输入分布下延续到F。剩余的NC个本征值通常是有限的，这与过参量化（输入-输出映射是单个C×N矩阵）以及深度线性网络最小值处已知的有限本征值计数[57 (https://arxiv.org/html/2607.07845#bib.bib36),9 (https://arxiv.org/html/2607.07845#bib.bib37)]一致。通过添加常数输入分量吸收偏置，仅使该映射成为仿射映射，因此NC+C个本征值保持有限，详情见补充材料(SM)[1 (https://arxiv.org/html/2607.07845#bib.bib63)]。该构造扩展到任意层大小和额外层数。特别地，对于隐藏维度M且N>M>C，两层网络有M^2+(N-M)(M-C)个架构不变性，仍然有NC个有限模，额外的(N-M)(M-C)个零模对应于映射到下游映射W(2)核的W(1)的方向[1 (https://arxiv.org/html/2607.07845#bib.bib63)]。

参见图注
图1：全连接层中的对称性。左：原始网络，突出显示两个隐藏神经元。中：离散置换对称性，交换两个隐藏单元的传入和传出连接。适用于任何激活函数。右：线性网络的连续对称性，传入权重的无穷小旋转由传出权重补偿。保持输出不变并生成一个零模。*