标签
该论文提出了主导对齐子空间(DAS),这是一种低维子空间,由根据与梯度的对齐程度而非特征值大小筛选出的 Hessian 特征向量构成。论文表明,在 PINN 基准问题(泊松方程、热方程、波动方程、Burgers 方程)上,结合线搜索的 DAS 子空间约束训练能够取得与全空间训练相当的效果,这表明收敛可能仅需少量与梯度对齐的 Hessian 方向。
该论文提出使用输入损失曲率(扩散模型训练损失Hessian的Frobenius范数)作为无需采样的代理指标,用于量化模型层面和样本层面的记忆化现象,并证明了反事实记忆化由留一模型的输入曲率所控制。
提出了SparseDecoding,一种面向解码阶段的训练无关剪枝框架,通过在自回归生成时收集校准数据对齐Hessian分布,并开发优化的N:M稀疏矩阵向量核,在A100上实现最高1.48倍端到端解码加速。
本文重新审视了深度学习优化中的稳定性边缘现象,提出了一种基于方向海森矩阵和梯度对齐分数的新表述,以实现更准确的预测和诊断工具。
本文认为,Hessian矩阵的主导子空间虽然对减少损失贡献甚微,但在小批量SGD中降低锐度方面起着关键作用。文章推导了由主导方向上的小批量噪声引起的锐度校正项。
本文推导了任意宽度和深度的线性神经网络的Hessian矩阵的特征值,表明在分类任务中使用MSE损失时,尖锐度与最大类别比例相关,并通过实验验证了预测结果。
本文认为,神经网络中大量接近零的海森特征值来源于网络参数化中弱破缺的对称性。研究表明,高曲率方向与对称性子空间正交,而大量小特征值则位于该子空间内。
推导了损失Hessian特征谱的Wolkowicz-Styan上界的闭式梯度,以引导神经网络训练朝向平坦极小值,并提出了Hessian谱范围(HSR)正则化。数值实验表明,HSR收窄了Hessian特征值范围,避免了尖锐极小值和鞍点,并实现了与Sharpness-Aware Minimization(SAM)相当的解。
Gefen是一种内存高效的优化器,通过自动共享二阶矩估计并使用学习到的码本量化一阶矩,将AdamW的内存占用减少约8倍,同时保持与AdamW相当的性能。
本文提出了神经网络损失景观中曲率指数α的精确分解,解释了为何该指数在不同层类型间存在差异。引入了谱对齐分解,并导出了一个谱传递恒等式,连接曲率、梯度秩衰减和Hessian指数,该恒等式已在多种架构和数据集上得到验证。
解释了梯度、雅可比矩阵和海森矩阵作为AI模型训练基础工具的数学概念,描述了它们衡量变化的方式以及各自在优化中的作用。
时隔8年,作者重写了开源库pytorch-hessian-eigenthings,利用Lanczos等迭代方法为PyTorch模型提供Hessian及其他曲率矩阵的高效特征分解。