symmetries

本文认为，神经网络中大量接近零的海森特征值来源于网络参数化中弱破缺的对称性。研究表明，高曲率方向与对称性子空间正交，而大量小特征值则位于该子空间内。