hessian

本文认为，Hessian矩阵的主导子空间虽然对减少损失贡献甚微，但在小批量SGD中降低锐度方面起着关键作用。文章推导了由主导方向上的小批量噪声引起的锐度校正项。

本文推导了任意宽度和深度的线性神经网络的Hessian矩阵的特征值，表明在分类任务中使用MSE损失时，尖锐度与最大类别比例相关，并通过实验验证了预测结果。

本文认为，神经网络中大量接近零的海森特征值来源于网络参数化中弱破缺的对称性。研究表明，高曲率方向与对称性子空间正交，而大量小特征值则位于该子空间内。

本文研究锐度与复杂度共同解释深度神经网络泛化能力的程度，引入基于帕累托的分析和面向函数的定义，以扩展解释范围。

推导了损失Hessian特征谱的Wolkowicz-Styan上界的闭式梯度，以引导神经网络训练朝向平坦极小值，并提出了Hessian谱范围（HSR）正则化。数值实验表明，HSR收窄了Hessian特征值范围，避免了尖锐极小值和鞍点，并实现了与Sharpness-Aware Minimization（SAM）相当的解。

Gefen是一种内存高效的优化器，通过自动共享二阶矩估计并使用学习到的码本量化一阶矩，将AdamW的内存占用减少约8倍，同时保持与AdamW相当的性能。

本文提出了神经网络损失景观中曲率指数α的精确分解，解释了为何该指数在不同层类型间存在差异。引入了谱对齐分解，并导出了一个谱传递恒等式，连接曲率、梯度秩衰减和Hessian指数，该恒等式已在多种架构和数据集上得到验证。

解释了梯度、雅可比矩阵和海森矩阵作为AI模型训练基础工具的数学概念，描述了它们衡量变化的方式以及各自在优化中的作用。

时隔8年，作者重写了开源库pytorch-hessian-eigenthings，利用Lanczos等迭代方法为PyTorch模型提供Hessian及其他曲率矩阵的高效特征分解。