锐度与复杂度能联合解释泛化到何种程度？

# 锐度和复杂度能共同解释泛化到何种程度？ 来源：https://arxiv.org/html/2606.29043 ###### 摘要 锐度和复杂度是深度神经网络泛化分析中的两个核心因素。现有的泛化度量定量评估主要关注单个标量度量，而锐度和复杂度的联合解释能力在很大程度上尚未被探索。本文研究锐度和复杂度能够*共同*解释泛化到何种程度。我们使用线性回归并引入一种基于帕累托的分析方法，来定量评估这两个因素的联合解释能力。除了现有的参数级定义，我们还提出了更接近函数空间且较少依赖原始参数表示的锐度和复杂度实现。我们发现，这两个量的面向函数的定义扩展了双因素视角的适用范围，超越了现有参数级度量所能达到的效果。总体而言，我们的结果支持锐度-复杂度视角作为理解不同场景下泛化的一种有信息量的透镜。同时，存在的失败表明，这种双因素视角能否作为泛化的完整理论仍然是一个未决问题。 ## 1 引言 现代深度网络在高度过度参数化的情况下往往能实现强大的预测性能。这一经验上的成功暴露了实际性能与理论理解之间持续存在的鸿沟。经典的基于容量的观点无法解释高度过度参数化网络可以轻松拟合随机标签，而相同架构通常能在结构化数据上良好泛化的事实[38 (https://arxiv.org/html/2606.29043#bib.bib1)]。这种张力促使了广泛的研究工作，寻求更精细的泛化解释，包括由架构和优化算法引起的隐式偏差[31 (https://arxiv.org/html/2606.29043#bib.bib4),37 (https://arxiv.org/html/2606.29043#bib.bib5),13 (https://arxiv.org/html/2606.29043#bib.bib6),23 (https://arxiv.org/html/2606.29043#bib.bib7),36 (https://arxiv.org/html/2606.29043#bib.bib8)]、基于范数和边界的界[32 (https://arxiv.org/html/2606.29043#bib.bib37),4 (https://arxiv.org/html/2606.29043#bib.bib38),29 (https://arxiv.org/html/2606.29043#bib.bib36)]、PAC-Bayes分析[25 (https://arxiv.org/html/2606.29043#bib.bib17),26 (https://arxiv.org/html/2606.29043#bib.bib18),27 (https://arxiv.org/html/2606.29043#bib.bib19),10 (https://arxiv.org/html/2606.29043#bib.bib20),30 (https://arxiv.org/html/2606.29043#bib.bib35)]、锐度与平坦度[15 (https://arxiv.org/html/2606.29043#bib.bib9),18 (https://arxiv.org/html/2606.29043#bib.bib10),9 (https://arxiv.org/html/2606.29043#bib.bib11),11 (https://arxiv.org/html/2606.29043#bib.bib15),3 (https://arxiv.org/html/2606.29043#bib.bib14)]、双重下降与良性过拟合[28 (https://arxiv.org/html/2606.29043#bib.bib42),5 (https://arxiv.org/html/2606.29043#bib.bib43)]，以及泛化度量的大规模实证研究[33 (https://arxiv.org/html/2606.29043#bib.bib2),16 (https://arxiv.org/html/2606.29043#bib.bib3)]。尽管多样性很高，许多成功的方法都建立在两个反复出现的因素之上：锐度和复杂度。*锐度* \(S\) 刻画了学习到的解对扰动的敏感性，通常通过基于Hessian的度量[9 (https://arxiv.org/html/2606.29043#bib.bib11),17 (https://arxiv.org/html/2606.29043#bib.bib12),21 (https://arxiv.org/html/2606.29043#bib.bib13)]或扰动引起的损失增量度量（如锐度感知最小化（SAM））[11 (https://arxiv.org/html/2606.29043#bib.bib15)]来量化。*复杂度* \(C\) 捕捉学习到的模型或其假设类的大小或信息内容，并在经典的基于容量的界、PAC和PAC-Bayes理论以及许多现代泛化分析中扮演核心角色。常见的复杂度度量包括权重范数、路径范数[32 (https://arxiv.org/html/2606.29043#bib.bib37)]、谱范数乘积[4 (https://arxiv.org/html/2606.29043#bib.bib38)]以及后验-先验KL散度[25 (https://arxiv.org/html/2606.29043#bib.bib17),26 (https://arxiv.org/html/2606.29043#bib.bib18),12 (https://arxiv.org/html/2606.29043#bib.bib25),29 (https://arxiv.org/html/2606.29043#bib.bib36)]。这两个因素的实际重要性或许最好地体现在SAM中[11 (https://arxiv.org/html/2606.29043#bib.bib15),20 (https://arxiv.org/html/2606.29043#bib.bib16),3 (https://arxiv.org/html/2606.29043#bib.bib14)]。尽管SAM显式地正则化锐度，其最强的经验性能通常在与权重衰减（最广泛使用的复杂度正则化器之一）结合时实现[19 (https://arxiv.org/html/2606.29043#bib.bib39),22 (https://arxiv.org/html/2606.29043#bib.bib40),39 (https://arxiv.org/html/2606.29043#bib.bib41)]。更广泛地说，许多成功的训练算法和理论框架都可以被解释为以不同形式平衡锐度和复杂度。尽管锐度和复杂度在理论和实践中被广泛使用，但它们的*联合解释能力*尚未被*定量*检验。一项密切相关的研究是Jiang等人的工作[16 (https://arxiv.org/html/2606.29043#bib.bib3)]，他们对泛化度量进行了大规模评估，并报告了现有度量预测能力总体上悲观的结论。然而，他们的分析主要将每个度量视为单个标量预测器，没有考虑锐度和复杂度共同能解释多少泛化。在本工作中，我们研究泛化的双因素视角，并提出以下核心问题：锐度和复杂度在多大程度上共同解释泛化？(*‣1) 以及与之密切相关的，应如何定义锐度和复杂度以最大化双因素视角的解释能力？理解这些问题具有理论和实践双重意义。在理论上，它有助于澄清锐度和复杂度是否为解释泛化提供了充分的视角，还是需要超出锐度和复杂度的额外因素。它也有助于区分由度量定义不充分导致的失败与反映双因素框架内在局限性的失败。在实践中，这种理解可以指导更可靠的模型比较、超参数选择和训练正则化方法的开发。当锐度和复杂度度量具有强大解释能力时，它们可以为设计鼓励更好泛化的惩罚项提供信息；当它们失败时，则指明了在双因素之外引入额外因素的方向。值得注意的是，本工作的目标并非简单提出更好的度量，而是将这些度量作为探针，用于研究双因素视角的*解释范围*。 ### 1.1 相关工作 先前的工作主要将泛化度量作为单个标量量进行研究。Neyshabur等人[30 (https://arxiv.org/html/2606.29043#bib.bib35)] 研究了深度学习中泛化的几种解释，包括基于范数的控制、锐度和鲁棒性。他们的工作强调了尺度归一化的重要性，并将基于锐度的推理与PAC-Bayes理论联系起来，与双因素视角密切相关。然而，他们的研究主要关注单个泛化度量，而非锐度和复杂度作为双因素系统的联合解释能力。Jiang等人[16 (https://arxiv.org/html/2606.29043#bib.bib3)] 对深度网络的不同泛化度量进行了大规模评估，涵盖了许多常用量，如VC维、基于范数或边界的界、PAC-Bayes界、锐度和路径范数。他们报告的结果相当悲观：大多数评估的度量与实际泛化差距的相关性较弱。尽管他们评估的一些度量同时由锐度和复杂度计算得出，但这两个因素通常通过规定的函数形式组合，然后作为一个标量量进行评估。因此，这种标量度量的弱相关性并不一定意味着锐度和复杂度没有信息量；它可能表明所选的函数形式以一种无效的方式组合了这两个因素。这留下了一个更根本的问题：在不事先承诺特定标量组合的情况下，泛化能在多大程度上被锐度和复杂度*共同*解释？相比之下，本工作聚焦于双因素视角而非单个标量泛化度量。我们研究泛化差距能被量对 \((S,C)\) 解释多少。重要的是，我们*不假设*这两个因素如何组合的已知函数形式，因为这种关系可能很复杂且在不同设置下可能变化。我们的目标是检验*这两个因素在预测真实泛化差距时是否具有联合信息量*。我们研究的一个关键特征是，我们不局限于评估单一架构或数据集内的模型。我们明确检验锐度和复杂度是否能够支持*跨*架构和数据集的*有意义的比较*。与Jiang等人[16 (https://arxiv.org/html/2606.29043#bib.bib3)]的观察一致，我们进一步发现单因素视角的解释能力相对有限；参见第5.2.1节。 ### 1.2 主要贡献 - • 我们实证研究了双因素视角在一系列架构和度量实现中的解释能力。主要发现在第5.2节中报告，并总结如下。 - – 现有参数级的锐度和复杂度实现在某些架构（如 ResNet18 和 WideResNet）中可以相对较好地解释泛化，但在其他架构（如无BN的ResNet18和无BN的WideResNet¹¹BN表示批归一化。）中失去了解释能力。这表明双因素视角是有信息量的，但在参数级度量下其解释范围可能有限。 - – 当锐度和复杂度被定义得更接近函数空间时，双因素框架的解释边界可以被进一步推展：在参数级度量失效的几个场景中，面向函数的度量恢复了良好的解释能力。这表明一些失败是由度量定义的限制造成的，而非双因素视角本身的限制。更广泛地说，这表明通过更恰当的锐度和复杂度实现，双因素视角的解释范围可能有相当大的提升空间。 - – 同时，提出的面向函数度量在某些架构（如 ViT）中失效。这些剩余的失败本身具有信息量。它们表明新的双因素视角实现是有用的但尚不完整：要么需要更充分的度量定义来进一步扩展其解释范围，要么需要超出锐度和复杂度的额外因素才能完整解释泛化。 - • 作为一种评估工具，我们引入了帕累托分析来直接检验泛化因素 \((S,C)\) 与泛化差距之间预期的单调关系，补充了基于回归的标准评估准则。这些发现*定量*刻画了泛化可以通过双因素视角解释的程度，并识别了该视角成功或可能失效的区域。在实践中，具有强大解释能力的度量可以作为比较训练模型、选择超参数以及设计鼓励更好泛化的正则化惩罚的诊断工具。此外，通过比较参数级和面向函数的度量，我们的研究揭示了如何在过度参数化网络中测量锐度和复杂度。我们*强调*，提出的帕累托分析和面向函数度量仅作为研究双因素视角解释能力的探针，而非本文的核心贡献。其他评估准则以及这些度量的替代定义也可能同样适用。我们的研究围绕*三个核心问题*展开：问题(*‣1)、问题(∗⁣∗‣3.1)和问题(∗⁣∗⁣∗‣3.2.2)。重点是对双因素视角何时成功、何时失败，以及这些成功与失败揭示了锐度-复杂度框架解释深度网络泛化的范围进行实证和概念分析。 ##### 论文组织。本文其余部分组织如下：第2节回顾现有的锐度和复杂度度量。第3节分析现有度量为何不足，并介绍我们的方法论贡献——帕累托分析。第4节介绍锐度和复杂度的面向函数实现。第5节报告主要的实证结果。 ## 2 现有锐度和复杂度度量回顾 贯穿全文，我们使用以下符号。令 \(Z=\{z_i\}_{i=1}^m\) 为大小为 \(m\) 的训练数据集，其中每个样本 \(z_i=(x_i,y_i)\) 从未知数据分布 \(\mathcal{D}\) 中独立同分布采样。这里，\(x_i\) 表示输入，\(y_i\) 表示对应的真实标签。对于模型 \(h\) 和损失函数 \(\ell(h;z)\)，我们定义在 \(Z\) 上的经验（或训练）损失和在 \(\mathcal{D}\) 下的泛化（或总体）损失为 \[\ell(h;Z)=\frac{1}{m}\sum_{i=1}^m \ell(h;z_i),\quad \ell(h;\mathcal{D})=\mathbb{E}_{Z\sim\mathcal{D}^m}\,\ell(h;Z).\] 当模型由参数 \(\theta\) 参数化时，我们记 \(f_\theta\) 为所表示的函数，\(\hat{\theta}\) 为训练后的参数向量。我们记经验损失在 \(\hat{\theta}\) 处的Hessian为 \(H_{\hat{\theta}}=\nabla_\theta^2 \ell(f_{\hat{\theta}};Z)\)。 ### 2.1 参数化歧义 深度网络通常由参数表示，但这种表示往往不唯一。对于模型参数向量 \(\theta\)，令 \(f_\theta\) 表示网络所表示的函数。一个*保函数重参数化*是一种参数变换，它改变 \(\theta\) 但保持表示的函数不变。也就是说，两个不同的参数向量 \(\theta\) 和 \(\theta'\) 可能满足 \(f_{\theta'}=f_\theta\)，即使依赖于参数的量在 \(\theta\) 和 \(\theta'\) 处求值可能非常不同。我们将这种非唯一性称为*参数化歧义*。在过度参数化的深度网络中，存在许多参数化歧义的来源。一个虽小但常见的类别由重新缩放给出，具体来说，是正齐次网络中的逐层重新缩放对称性。例如，在 ReLU 网络中，将某一层乘以一个正