重新审视体积假说

# 重新审视体积假说
来源：https://arxiv.org/html/2606.31282
###### 摘要

现代深度神经网络通常包含远超拟合训练数据所需的参数，却能实现令人印象深刻的泛化能力。一种常见的解释是随机梯度下降（SGD）的隐式偏差。另一种**体积假说**则认为，在低训练损失区域内，导致强泛化的损失景观盆地所占权重空间体积远大于泛化差的盆地，因此 SGD 更有可能落于前者。近期对该思想的实验探索得出了看似矛盾的结果。在一组实验中，随机采样网络权重直至训练误差为零会导致泛化较差，而分子动力学密度估计却支持体积假说。我们注意到这些实验是在不同数据集规模下进行的，并使用副本交换王-朗道算法估计二元网络中训练精度和测试精度的联合状态密度，探索了一个中间状态。跨多种架构和数据集，我们展示了梯度学习相对于随机采样训练的泛化优势通常随着训练数据量的增加而减弱，这为上述悖论提供了一种解释。

机器学习，ICML

## 1 引言

从经典学习理论（Shalev-Shwartz & Ben-David, 2014 (https://arxiv.org/html/2606.31282#bib.bib44)）的角度看，现代神经网络对新数据泛化得如此之好令人惊讶。这些模型通常包含远超拟合训练集所需的参数，而且让它们变得更大往往会改善而非损害泛化能力（Hestness 等人, 2017 (https://arxiv.org/html/2606.31282#bib.bib24)）。在一个过参数化网络中，无数参数配置可以将训练损失降至零——其中一些能泛化，另一些则不能。然而，随机梯度下降（SGD）却常常落于确实能泛化的参数配置上，其原因尚不清楚（Zhang 等人, 2017 (https://arxiv.org/html/2606.31282#bib.bib55)）。

主流观点将这一成功归因于 SGD 在训练过参数化模型时引入的隐式偏差（Soudry 等人, 2018 (https://arxiv.org/html/2606.31282#bib.bib45); Gunasekar 等人, 2018 (https://arxiv.org/html/2606.31282#bib.bib19); Arora 等人, 2019 (https://arxiv.org/html/2606.31282#bib.bib4); Vardi, 2023 (https://arxiv.org/html/2606.31282#bib.bib48)）。然而，Chiang 等人（2022 (https://arxiv.org/html/2606.31282#bib.bib11)）近期的工作提出了另一种解释——**体积假说**，根据该假说，在权重空间的低训练误差区域内，强泛化区域占据的体积远大于泛化差的区域。这一想法呼应了 Péreza 等人（2019 (https://arxiv.org/html/2606.31282#bib.bib42)）和 Berchenko（2024 (https://arxiv.org/html/2606.31282#bib.bib9)）中的相关提议，并在一些简化案例的理论工作中得到了探索（Hanin & Zlokapa, 2023 (https://arxiv.org/html/2606.31282#bib.bib21); Buzaglo 等人, 2024 (https://arxiv.org/html/2606.31282#bib.bib10); Harel 等人, 2024 (https://arxiv.org/html/2606.31282#bib.bib22); Alexander 等人, 2025 (https://arxiv.org/html/2606.31282#bib.bib2)）。如果正确，人们可以认为架构偏差是泛化的主要驱动力，而 SGD 的隐式偏差则是次要的。

这一说法最近通过两种不同方法进行了测试，结果却相反。一方面，Peleg & Hein（2024 (https://arxiv.org/html/2606.31282#bib.bib41)）的工作使用了**猜测与检查（G&C）**过程：随机采样权重值直至训练误差为零。结果网络的泛化误差比 SGD 更差。¹¹另一方面，Yang 等人（2026 (https://arxiv.org/html/2606.31282#bib.bib54)）的工作使用分子动力学技术来估计网络参数相对于（i）训练损失和（ii）泛化损失（对于回归）或精度（对于分类）的密度。在许多分类和回归模型中，对于低训练损失，密度在泛化值处出现峰值，其泛化效果与高度优化的 SGD 相当或更好。这暗示了体积假说的有效性，Yang 等人（2026 (https://arxiv.org/html/2606.31282#bib.bib54)）称之为**高熵优势**，尽管在他们其中一个例子中，对于足够宽的网络，该现象消失了。

为了调和这些分歧的结果，我们注意到 Peleg & Hein（2024 (https://arxiv.org/html/2606.31282#bib.bib41)）报告的实验仅限于少量样本（最多 32 个训练样本）下的二分类任务。将 G&C 扩展到多分类或更大的训练数据集因高计算成本而不可行，该成本随训练样本量和分类类别数迅速增加。另一方面，Yang 等人（2026 (https://arxiv.org/html/2606.31282#bib.bib54)）的实验是在高样本状态下进行的。这表明体积假说的有效性可能强烈依赖于数据量大小。在本工作中，我们使用王-朗道算法（Wang & Landau, 2001 (https://arxiv.org/html/2606.31282#bib.bib51)）探索这一想法。该算法是统计物理学界开发的一种技术，用于计算系统中能量或其他宏观量的概率密度，当该密度可能跨越多个数量级时。在我们的情况下，我们用它来估计感兴趣特定范围内训练精度 \(A\) 和测试精度 \(Q\) 的联合状态密度 \(g(A,Q)\)，针对多分类网络和最多 600 个样本的训练数据集。在三种不同架构和两个数据集上，我们发现 SGD 相对于随机采样的一般泛化优势通常随着训练数据量的增加而减弱。这一结果弥合了先前报告的不同结果。我们的结果表明存在一种依赖于数据的转变，其中优化引起的偏差在小数据状态下占主导，而架构体积效应随着数据增加而出现并集中。这阐明了优化、架构和数据在过参数化泛化中各自的角色。

## 2 相关工作

#### 机器学习中的王-朗道算法。

近期在 Mele 等人（2025 (https://arxiv.org/html/2606.31282#bib.bib35)）的工作中，使用王-朗道方法估计了二元神经网络中的状态密度。然而，该工作仅考虑了训练误差的密度，因此不提供对泛化性能的洞察。王-朗道方法在机器学习中的另一个近期应用是 Liu 等人（2023 (https://arxiv.org/html/2606.31282#bib.bib34)）的工作，他们计算了网络在输入空间上输出值的密度，针对固定、预先训练好的权重。体积假说最近由 Yang 等人（2026 (https://arxiv.org/html/2606.31282#bib.bib54)）探索，他们使用了一种结合分子动力学与非参数密度估计的王-朗道方法变体。同一技术最近被应用于 Zhang 等人（2025 (https://arxiv.org/html/2606.31282#bib.bib56)）关于“grokking”现象的研究。

#### 过参数化与泛化。

尽管深度神经网络严重过参数化，但为何它们仍能良好泛化的问题已从多种理论和实证视角研究了数十年（Wolpert, 1995 (https://arxiv.org/html/2606.31282#bib.bib53); Bartlett & Mendelson, 2001 (https://arxiv.org/html/2606.31282#bib.bib7); Hoffer 等人, 2017 (https://arxiv.org/html/2606.31282#bib.bib25); Jakubovitz 等人, 2019 (https://arxiv.org/html/2606.31282#bib.bib29)）。经典学习理论通过诸如 VC 维（Vapnik & Chervonenkis, 1971 (https://arxiv.org/html/2606.31282#bib.bib47)）等复杂性度量将泛化与容量控制联系起来，表明高表达能力模型应过拟合（Shalev-Shwartz & Ben-David, 2014 (https://arxiv.org/html/2606.31282#bib.bib44); Hastie 等人, 2001 (https://arxiv.org/html/2606.31282#bib.bib23)）。从这个角度看，具有足够参数来插值任意标签的网络预计泛化能力会很差。然而，经验上，现代神经网络违背了这一预测。即使是能够完美拟合训练数据的模型也常常表现出很强的测试性能（Haeffele & Vidal, 2017 (https://arxiv.org/html/2606.31282#bib.bib20); Nguyen & Hein, 2018 (https://arxiv.org/html/2606.31282#bib.bib40)），并且增加模型大小可以进一步提高泛化能力（Belkin 等人, 2019 (https://arxiv.org/html/2606.31282#bib.bib8); Neal 等人, 2019 (https://arxiv.org/html/2606.31282#bib.bib38); Bartlett 等人, 2020 (https://arxiv.org/html/2606.31282#bib.bib6)）。Zhang 等人（2017 (https://arxiv.org/html/2606.31282#bib.bib55)）的一个显著演示表明，卷积网络可以记忆随机标签，同时在结构化数据上仍能良好泛化，这突显了表达性与泛化之间的脱节。额外的工作表明，神经网络在记忆噪声之前倾向于学习简单或低频模式（Arpit 等人, 2017 (https://arxiv.org/html/2606.31282#bib.bib5)），并且随着模型规模增大，偏差和方差都可能下降（Neal 等人, 2019 (https://arxiv.org/html/2606.31282#bib.bib38)）。

#### 优化引起的隐式偏差。

一条突出的研究思路将深度学习中的成功泛化归因于基于梯度的优化方法的隐式偏差（Neyshabur 等人, 2015 (https://arxiv.org/html/2606.31282#bib.bib39)）。对于线性可分问题，Soudry 等人（2018 (https://arxiv.org/html/2606.31282#bib.bib45)）证明了梯度下降收敛到最大间隔解，而 Arora 等人（2019 (https://arxiv.org/html/2606.31282#bib.bib4)）认为梯度训练带来的正则化不能仅通过显式惩罚来捕捉。后续研究探索了优化动态如何塑造学习到的表示，包括批量大小（Galanti & Poggio, 2022 (https://arxiv.org/html/2606.31282#bib.bib16)）、梯度噪声（Liu 等人, 2020 (https://arxiv.org/html/2606.31282#bib.bib33)）、训练过程中的有效降维（Advani 等人, 2020 (https://arxiv.org/html/2606.31282#bib.bib1)）以及宽网络中的简化动态（Lee 等人, 2020 (https://arxiv.org/html/2606.31282#bib.bib32)）的影响。更近期，Andriushchenko 等人（2023 (https://arxiv.org/html/2606.31282#bib.bib3)）证明了 SGD 中的大学习率促进了低秩特征学习。

#### 损失景观与平坦性观点。

另一类方法将泛化与损失景观的几何性质联系起来，特别是平坦性或尖锐性的概念（Dziugaite & Roy, 2017 (https://arxiv.org/html/2606.31282#bib.bib13); Keskar 等人, 2017 (https://arxiv.org/html/2606.31282#bib.bib31); Jiang 等人, 2020 (https://arxiv.org/html/2606.31282#bib.bib30); Foret 等人, 2021 (https://arxiv.org/html/2606.31282#bib.bib15)）。虽然此类度量通常与泛化相关，但其因果相关性仍有争议（Andriushchenko 等人, 2023 (https://arxiv.org/html/2606.31282#bib.bib3)）。相关想法出现在贝叶斯文献中，其中宽优化与更大的后验质量和改进的预测性能相关联（Izmailov 等人, 2018 (https://arxiv.org/html/2606.31282#bib.bib27); Wilson & Izmailov, 2020 (https://arxiv.org/html/2606.31282#bib.bib52)）。

#### 架构偏差与体积假说。

除了优化之外，一些工作强调网络架构本身固有的偏差。Huang 等人（2020 (https://arxiv.org/html/2606.31282#bib.bib26)）假设泛化差的极小值占据参数空间中相对较小的区域。基于这一直觉，Mingard 等人（2021 (https://arxiv.org/html/2606.31282#bib.bib36)）认为，在无限宽度等强假设下，SGD 的行为类似于贝叶斯采样，表明架构偏差主导了优化效应。然而，这些近似并不直接适用于有限的实际网络。另一项工作质疑了 SGD 随机性的必要性，表明使用显式正则化的确定性梯度下降可以达到相当的性能（Geiping 等人, 2022 (https://arxiv.org/html/2606.31282#bib.bib17)）。

与我们的研究最直接相关的是，Chiang 等人（2022 (https://arxiv.org/html/2606.31282#bib.bib11)）提出了**体积假说**，认为泛化主要受架构引起的良好泛化解的相对体积控制，而 SGD 的隐式偏差仅起次要作用。我们对体积假说的定义是，在训练误差为零的权重中，**泛化**误差低的区域体积很大。这不同于最近在 Scherlis & Belrose（2025 (https://arxiv.org/html/2606.31282#bib.bib43)）和 Fan 等人（2025 (https://arxiv.org/html/2606.31282#bib.bib14)）中所采用的关于低**训练**误差盆地体积的定义。

#### 简单性偏差。

近期工作中的一个反复出现的主题是，现代过参数化架构**并非**表现得像是从庞大的函数类中均匀随机地选择假设；相反，常见的参数化和初始化/训练流程会诱导一个高度非均匀的**函数分布**，该分布强烈偏向于简单（结构化、可压缩、低复杂度）的预测器。Pérez 等人（2019 (https://arxiv.org/html/2606.31282#bib.bib42)）通过分析参数-函数映射以及由此产生的函数空间先验，使这一点具体化：该映射是多对一的，实现给定函数的概率相差数个数量级，并且经验与理论证据支持函数概率与描述复杂度之间的**指数**关系，提供了一种显式的简单性偏差机制。Teney 等人（2024 (https://arxiv.org/html/2606.31282#bib.bib46)）从架构角度强化了这一图景，表明“随机网络不是随机函数”：在初始化时，参数空间的绝大部分就已经对应于具有特征（通常较低）复杂度的函数。Mingard 等人（2025 (https://arxiv.org/html/2606.31282#bib.bib37)）将这些观察与奥卡姆/算法信息论视角联系起来，通过研究随机网络诱导的函数分布，展示了概率可以近似指数衰减于合适的复杂度代理，同时展示了改变状态（例如，朝向“混沌”行为）会削弱偏差并损害泛化。

特别地，Berchenko（2024 (https://arxiv.org/html/2606.31282#bib.bib9)）和 Buzaglo 等人（2024 (https://arxiv.org/html/2606.31282#bib.bib10)）都使猜测-检查机制明确化，并将其与经典的 PAC 风格解释联系起来（Berchenko（2024 (https://arxiv.org/html/2606.31282#bib.bib9)）研究了一种“朴素算法”，这是……