sharpness

本文认为，Hessian矩阵的主导子空间虽然对减少损失贡献甚微，但在小批量SGD中降低锐度方面起着关键作用。文章推导了由主导方向上的小批量噪声引起的锐度校正项。

本文研究锐度与复杂度共同解释深度神经网络泛化能力的程度，引入基于帕累托的分析和面向函数的定义，以扩展解释范围。

本文提出方向锐度这一新指标，用于认证机器学习模型的泛化性能。该指标计算高效，且比测试准确率或传统锐度等现有近似指标更可靠，即便训练过程偏离预定程序也是如此。

本文探讨了在非L-光滑目标上梯度下降收敛的最大步长这一开放问题，引入了在稳定性边缘运行且能够全局最小化尖锐度的自适应方法。