神经网络损失景观的谱渐近：曲率指数的精确分解

# 神经网络损失景观的谱渐近：曲率指数的精确分解 来源：https://arxiv.org/html/2606.02596 ###### 摘要 曲率指数α在 h_k ∝ σ_k^α 中——控制 Hessian 特征值随梯度奇异值缩放的方式——在不同层类型间系统性变化（卷积层 α≈2，Transformer 注意力层 ≈1，MLP 上投影层 <1）。这是为什么？我们证明了**谱对齐分解**：α = 2 + d log Φ_k / d log σ_k，其中 Φ_k 测量 Kronecker 因子特征基与梯度奇异方向之间的对齐程度。这将“为什么 α 会变化”简化为一个几何问题，我们针对 LayerNorm、残差连接和 softmax 头给出了答案。该分解隐含一个**谱传递恒等式** s = αγ，将曲率指数、有效梯度秩衰减指数 γ 和 Hessian 衰减指数 s 联系起来[1（https://arxiv.org/html/2606.02596#bib.bib1）]。该恒等式是代数的；其经验内容是，在*独立*数据上（HVP vs. SVD）拟合的 α 和 γ，可在 93 个层、五种架构和三个数据集上恢复 s，中位误差约为 2%——无需任何自由参数。基于 ζ 函数对参与比的界表明，曲率集中到每层几乎单个方向。作为概念验证，我们推导了架构自适应预条件子 T(σ;α)，并展示了在梯度奇异基中实现 T 的**谱牛顿法**在 α≈2 的视觉基准上优于 AdamW。 ## 1 引言 神经网络损失 Hessian 的特征值谱编码了优化如何遍历参数空间。近期工作已经建立了*谱看起来是什么样*：Hessian 特征值以幂律衰减，指数为 s[1（https://arxiv.org/html/2606.02596#bib.bib1），5（https://arxiv.org/html/2606.02596#bib.bib5）]；权重矩阵表现出与泛化相关的重尾谱密度[2（https://arxiv.org/html/2606.02596#bib.bib2）]；Kronecker 因子近似捕捉了 Hessian 的大部分结构[3（https://arxiv.org/html/2606.02596#bib.bib3），4（https://arxiv.org/html/2606.02596#bib.bib4）]。这些结果描述了同一底层对象的不同投影，但机理上的问题——*为什么* s 取这些值，以及它如何与梯度结构关联——仍未解答。

我们研究**沿梯度奇异方向的曲率**。对于层 ℓ，梯度为 G_ℓ = UΣV^⊤，令 h_k 表示沿方向 u_k v_k^⊤ 的精确 Hessian 特征值，通过 Hessian-向量积（HVP）测量。经验上，h_k 在梯度奇异值 σ_k 上遵循幂律：h_k = c · σ_k^α (1) 指数 α 并**非普适**：它取决于层类型、架构和任务（第 3 节（https://arxiv.org/html/2606.02596#S3））。理解 α 是预测某一层需要何种预条件子的关键。

我们的核心贡献是**谱对齐分解**（定理 1（https://arxiv.org/html/2606.02596#Thmtheorem1））：将 h_k 精确分解为 Kronecker 因子特征值和可测量的对齐比，从而得到用这些量的对数-对数斜率表示的 α 恒等式。然后我们：
1. 1. 推导 LayerNorm（α≈1）、残差连接和 softmax 头（α>2）的特定机制预测，并通过受控消融实验验证。
2. 2. 建立**谱传递恒等式** s = αγ：一个 α、在梯度奇异值上拟合的有效秩衰减指数 γ 和 Hessian 衰减 s[1（https://arxiv.org/html/2606.02596#bib.bib1）] 之间的代数联系，并在三个数据集的 89 层上验证（第 7 节（https://arxiv.org/html/2606.02596#S7））。
3. 3. 通过 Riemann ζ 函数界定曲率参与比，表明学习实际上是每层一维的。
4. 4. 提出架构自适应的谱传递函数 T(σ;α)，并验证**谱牛顿法**作为其优化器实例化（第 7.3 节（https://arxiv.org/html/2606.02596#S7.SS3））。

这是一个类似于 Weyl 定律的谱渐近结果：衰减指数编码了损失景观的几何信息（对齐结构），而不仅仅是一个拟合的现象学参数。

## 2 设置与测量
对于层 ℓ，权重 W_ℓ ∈ R^{m×n}，梯度 G_ℓ = ∇_{W_ℓ} L，以及小批量激活 A ∈ R^{B×n}，误差 δ ∈ R^{B×m}，梯度分解为 G_ℓ = (1/B) δ^⊤ A。在高斯-牛顿（GN）近似下，每层 Hessian 满足 H_GN^{(ℓ)} ≈ C_δ ⊗ C_A，其中 C_δ = (1/B) δ^⊤δ，C_A = (1/B) A^⊤ A。

#### 测量协议。
我们在 CIFAR-10 和 Tiny-ImageNet-200 上训练模型直至收敛，并评估预训练的 ImageNet-1K 权重（IMAGENET1K_V1）。对于每个模型，我们固定一个大小为 B=2048–4096 的样本批次，通过 SVD 计算前 k 个梯度奇异方向，并通过双重反向传播（精确 HVP）测量 h_k = v_k^⊤ H v_k。我们通过对 (σ_k, h_k) 进行对数-对数回归来拟合 α。所有结果均使用精确 HVP；有限差分 Hessian 的 R²≈0.17，其中 50% 是虚假的负曲率，因此被排除。

#### 指数 α 和 γ。
我们从 (σ_k, h_k) 的精确 HVP 中拟合 α。我们将 γ 定义为按秩排序的前 k 个梯度奇异值 σ_k 的负对数-对数斜率（通常 k=20；对于扩展谱，k=100，见附录 G（https://arxiv.org/html/2606.02596#A7））。这是在有限秩窗口上的*有效*衰减指数，并非声称 σ_k 遵循全局幂律。

## 3 曲率指数：经验景观
图 1（https://arxiv.org/html/2606.02596#S3.F1）可视化了核心经验规律 h_k ∝ σ_k^α 在代表性层上的表现；图 2（https://arxiv.org/html/2606.02596#S3.F2）显示 α 并非随机噪声，而是追踪架构和深度。表 1（https://arxiv.org/html/2606.02596#S3.T1）总结了各模型的均值：卷积层普遍呈现 α≈2；Transformer 层聚集在 α≈1 附近；输出头可能超过 α=4。

参考图注 图 1: 精确 HVP 曲率 h_k 与梯度奇异值 σ_k（对数-对数）。 (a–d) 代表性层：卷积层遵循 α≈2；全连接和 Transformer MLP 层存在偏差。图中显示了拟合指数；为清晰起见，log 轴上省略了虚线网格。

参考图注 图 2: 每层曲率指数 α 与深度指数（ResNet-18, VGG-11, GPT-2, CIFAR-10）。阴影带：α∈[1.85,2.15]。内部卷积层聚集在 α=2 附近；Transformer 和边界层存在偏差。

表 1: 按架构和层类型划分的平均曲率指数 α。除注明外为 CIFAR-10；†Tiny-ImageNet-200；‡ImageNet-1K 预训练（IMAGENET1K_V1）。

表 2: Transformer 层细节（mini GPT-2, 5 轮, 合成语言模型）。

卷积层在整个训练过程中保持 α≈2（从初始化时的 ∼1.5 涌现；附录 E（https://arxiv.org/html/2606.02596#A5））。这在规模上也成立：ResNet-50 在 Tiny-ImageNet（200 类，64×64）上的 49 个卷积层中位 α=1.93，R²≥0.88。

在使用预训练权重（IMAGENET1K_V1）的 ImageNet-1K 上，14 个卷积层的中位 α=2.15，R²≥0.97，谱传递误差为 1.6%（表 1（https://arxiv.org/html/2606.02596#S3.T1））。全连接头在不同尺度下呈现相反趋势：在 200 类（Tiny-ImageNet）上 α=0.90，而在 1000 类（ImageNet-1K）上 α=2.83。两者与理论一致：200 类产生稀疏的各向异性 C_δ，将 α 拉低至 2 以下；1000 类为 C_δ 提供更丰富的结构，增强对齐并将 α 推高至 2 以上（第 6 节（https://arxiv.org/html/2606.02596#S6））。全谱分析表明 α 在奇异值指数 k 的四分位数上保持稳定（附录 F（https://arxiv.org/html/2606.02596#A6））。对于卷积层，h_k ∝ σ_k^2 成立，R²=0.98（跨 21 个 ResNet-18 层的中位值；完整表格见附录 A（https://arxiv.org/html/2606.02596#A1））。

## 4 相关工作
#### Hessian 结构与闭式谱。
Tang 等[1（https://arxiv.org/html/2606.02596#bib.bib1）]*发现*跨 CNN 和 LLM 的幂律 Hessian 特征值衰减 h_k ∝ k^{-s}，并将其用于预测泛化。他们的贡献在于这一观察及其统计刻画；他们没有解释*为什么* s 取这些值，或者 s 如何与梯度结构相关。我们的工作通过谱传递恒等式 s = αγ *分解*了 s：Hessian 衰减指数是曲率-梯度对齐指数 α（我们将其追溯到 Kronecker 因子特征基，定理 1（https://arxiv.org/html/2606.02596#Thmtheorem1））与有效梯度秩衰减指数 γ 的乘积。简言之，Tang 等人测量 s；我们解释 s。Wu 等[5（https://arxiv.org/html/2606.02596#bib.bib5）]识别了跨架构的共同 Hessian 结构。近期工作为浅层网络导出了*闭式* Hessian 谱[12（https://arxiv.org/html/2606.02596#bib.bib12）]，补充了我们针对深度训练模型的逐层*结构*分解。

#### Kronecker 因子化与逐层预条件。
K-FAC[3（https://arxiv.org/html/2606.02596#bib.bib3），4（https://arxiv.org/html/2606.02596#bib.bib4）]和 Shampoo[14（https://arxiv.org/html/2606.02596#bib.bib14）]使用 Kronecker 因子 C_δ ⊗ C_A 近似曲率。Zhang 等[13（https://arxiv.org/html/2606.02596#bib.bib13）]证明，在某些情况下，逐层 Kronecker 预条件对于特征学习是*必要条件*——我们的谱对齐分解给出了逐层谱解释（对齐比 ρ_k, cos²θ_k），说明近似何时准确。ESO[15（https://arxiv.org/html/2606.02596#bib.bib15）]通过截断 Shampoo 构建高效谱预条件子；s=αγ 恒等式预测哪些层能容忍低秩谱截断（陡峭的 s，集中的曲率）与哪些层需要更丰富的结构。

#### 重尾自正则化。
Martin–Mahoney[2（https://arxiv.org/html/2606.02596#bib.bib2）]将权重矩阵尾指数与泛化联系起来。推论 8（https://arxiv.org/html/2606.02596#Thmtheorem8）将其 α_weight 与我们的 (α,γ,s) 三元组联系起来。

#### 优化中的谱方法。
Muon[8（https://arxiv.org/html/2606.02596#bib.bib8）]展平梯度奇异值；SAM[9（https://arxiv.org/html/2606.02596#bib.bib9）]显式最小化锐度。我们的分解表明，架构适当的谱权重为 T(σ;α) = σ/(σ^α + d)——这是对齐几何的结果。**谱牛顿法**在梯度奇异基中实现这一传递；第 7.3 节（https://arxiv.org/html/2606.02596#S7.SS3）在 α≈2 的视觉基准上进行了验证。

## 5 谱对齐分解
###### 定义 1（谱对齐比）。
设 G = UΣV^⊤ 为梯度 SVD，且 C_δ = Q_δ Λ_δ Q_δ^⊤, C_A = Q_A Λ_A Q_A^⊤ 为特征分解，特征值按降序排列。定义：
ρ_k^{(δ)} = (u_k^⊤ C_δ u_k) / [Λ_δ]_{kk}, ρ_k^{(A)} = (v_k^⊤ C_A v_k) / [Λ_A]_{kk}

###### 定理 1（谱对齐分解）。
在 H_GN^{(ℓ)} ≈ C_δ ⊗ C_A 下：
1. 1.（精确分解。）h_k = ρ_k^{(δ)} · ρ_k^{(A)} · [Λ_δ]_{kk} · [Λ_A]_{kk}。
2. 2.（α 作为对齐斜率。）设 Φ_k = ρ_k^{(δ)} ρ_k^{(A)} 且幂律拟合 h_k = c σ_k^α，则：
α = d log Λ_k / d log σ_k + d log Φ_k / d log σ_k, Λ_k = [Λ_δ]_{kk}[Λ_A]_{kk} (2)
3. 3.（典范形式。）当 Q_δ = U, Q_A = V（完美对齐）时，[Λ_δ]_{kk}[Λ_A]_{kk} = σ_k^2 / cos²θ_k，且
α = 2 + d log Φ_k / d log σ_k - d log cos²θ_k / d log σ_k (3)
其中 cos²θ_k = h_k^{exact} / h_k^{Kron} 衡量 GN 与精确值的间隙。

###### 证明。
第 1 部分。沿 u_k v_k^⊤ 的曲率为 h_k = vec(u_k v_k^⊤)^⊤ (C_δ ⊗ C_A) vec(u_k v_k^⊤) = (u_k^⊤ C_δ u_k)(v_k^⊤ C_A v_k)。由定义 1（https://arxiv.org/html/2606.02596#Thmdefinition1），u_k^⊤ C_δ u_k = ρ_k^{(δ)} [Λ_δ]_{kk}，v_k^⊤ C_A v_k = ρ_k^{(A)} [Λ_A]_{kk}，从而得到分解。
第 2 部分。取对数：log h_k = log Φ_k + log Λ_k。若 h_k = c σ_k^α，则 d log h_k / d log σ_k = α。对分解求导得方程 (2)（https://arxiv.org/html/2606.02596#S5.E2）。
第 3 部分。当 Q_δ = U 且 Q_A = V 时，ρ_k^{(δ)} = ρ_k^{(A)} = 1，故 Φ_k = 1。在定理 2（https://arxiv.org/html/2606.02596#Thmtheorem2）的对齐条件下，[Λ_δ]_{kk}[Λ_A]_{kk} = σ_k^2 / cos²θ_k，因此 d log Λ_k / d log σ_k = 2 - d log cos²θ_k / d log σ_k。代入第 2 部分且 d log Φ_k = 0 得方程 (3)（https://arxiv.org/html/2606.02596#S5.E3）。∎

###### 定理 2（基线：完美对齐下的 α=2）。
当 C_δ, C_A 共享 G 的奇异/特征基，且每样本 (u_k^⊤ δ_i)^2, (v_k^⊤ a_i)^2 在样本间近似独立时，h_k ∝ σ_k^2。