overparameterization

该论文提出了一套渐近理论，解释了为什么 Muon 的正交化预条件器与神经网络在初始化时的 Hessian 矩阵结构相匹配，并表明在四种典型模型中，过参数化促使 E[GG^T] 呈现对角占优性。

本文构建了高维回归中 grokking 现象的统计理论，揭示了正则化几何结构与信号稀疏性如何决定插值附近的泛化行为，并给出了零一律（zero-one law）以及最小范数插值器的不稳定性。

本文提出在商参数空间上进行PAC-Bayesian分析，以消除参数对称性带来的KL贡献，并构建一个几何诱导的先验，该先验逼近理想的后验匹配先验，从而得到更紧的泛化界。在傅里叶回归和查询-键注意力机制上的实验表明，KL散度和证据值显著降低。

本文重新审视了体积假说，该假说认为过参数化网络的泛化能力主要归因于权重空间中良好泛化区域更大的体积，而非SGD的隐式偏差。通过对二元网络的实验，作者表明，随着训练数据规模的增大，梯度学习相对于随机采样的泛化优势逐渐减弱，这可能解决了先前相互矛盾的发现。

一篇研究神经网络超参数化成功原因的论文，比较了彩票假说与逃逸维度。

OpenAI研究揭示了“双下降”现象，即测试误差随着模型规模和训练步数的增加呈现出非单调的模式，挑战了传统上对深度学习偏差-方差权衡的理解。