标签
该论文基于等变度数理论（equivariant degree theory）提出了一种通用的拓扑对称性指数，用于刻画神经网络损失景观中临界轨道的各向同性及其净拓扑贡献，适用于任意网络架构并给出软激活 MLP、Transformer 和等变神经网络的计算示例。
本文对参数梯度流的表示动力学完全由表示本身决定的情形进行了分类，证明了宽双因子矩阵表示下的初始化分类，并将通常的闭合性与解析和光滑情形下的不变层级度量分解联系起来。
一篇新论文提出了 TMLN（轨迹调制式地形导航）方法，将持续学习视为在弯曲损失地形上的最优控制问题，利用对角经验 Fisher 信息矩阵以及基于轨迹的梯度预条件化，在无需附加正则化惩罚项的情况下缓解灾难性遗忘。
本文引入了尖锐模式连接 (SMC) 来增强神经网络中权重空间插值的鲁棒性，通过优化整个路径的平坦性，在分布偏移下实现了显著的准确性提升。
本论文通过谱动力学阐明神经网络损失景观中的模式连通性，解释诸如grokking和记忆化等现象，并将见解应用于增强多样特征学习和实际神经网络训练。
本文推导了任意宽度和深度的线性神经网络的Hessian矩阵的特征值，表明在分类任务中使用MSE损失时，尖锐度与最大类别比例相关，并通过实验验证了预测结果。
本文认为，神经网络中大量接近零的海森特征值来源于网络参数化中弱破缺的对称性。研究表明，高曲率方向与对称性子空间正交，而大量小特征值则位于该子空间内。
本文诊断了基于梯度反演的Gray-Scott反应扩散系统的损失景观，表明直接反向传播由于平坦平台和陡峭悬崖而失败，而PINN组件（如残差损失）则平滑了景观。这些发现为PINN类方法提供了设计启示。
MIT研究人员表明，神经网络训练中的稳定边缘（EoS）不仅仅是一个全局优化现象，而是选择性地在训练分布的子集上重新分配学习，放大某些数据组的进展同时抑制其他组。他们识别出控制这种分配的两个关键条件：梯度与Hessian矩阵最大特征向量的对齐，以及持续非消失的梯度幅度。
本文提出了神经网络损失景观中曲率指数α的精确分解，解释了为何该指数在不同层类型间存在差异。引入了谱对齐分解，并导出了一个谱传递恒等式，连接曲率、梯度秩衰减和Hessian指数，该恒等式已在多种架构和数据集上得到验证。
本文识别了科学机器学习模型中一致的三模态结构，表明优化效果是模态特定的，并可能挑战传统的损失景观解释。它提出了一个模态感知的诊断框架，并在PINN、神经算子以及神经ODE上得到验证。