dead-directions

本文提出了一种无需下降和对齐的方法来测量训练后神经网络中的奇异结构。该方法从方向Fisher率中恢复死方向的阶数，将真实奇点与平坦规范对称性区分开来，并展示了该技术在Transformer和卷积层上的应用。