标签
本文重新审视了体积假说，该假说认为过参数化网络的泛化能力主要归因于权重空间中良好泛化区域更大的体积，而非SGD的隐式偏差。通过对二元网络的实验，作者表明，随着训练数据规模的增大，梯度学习相对于随机采样的泛化优势逐渐减弱，这可能解决了先前相互矛盾的发现。