标签
本文在大规模语言模型预训练中发现了一种称为奇异性分布稳定性（SoSD）的谱现象，其中奇异值谱在早期就趋于稳定，而参数仍在持续演化。作者证明，这种稳定标志着训练进入慢速下降阶段，并分析了WSD和Muon等训练策略如何影响这一行为。
介绍了一种三步法，用于识别预训练Transformer中的注意力头电路，该方法使用频谱信号和任务模式筛选，无需标签，并在51M到1B参数模型及多种架构上验证。
应用图谱分析（Fiedler值）和Scheffer临界减速指标来预测神经网络中的grokking，在损失函数变化前21,000步检测到它，在五个可重复实验中。
本文提出了一种名为 Spectra 的方法，利用光谱占用率来分析和控制潜在图模型的实际容量，并论证了模型的秩并不等同于其容量。
本文通过Lyapunov谱分析发现，MLP和注意力谱范数之间的比率能够预测Transformer模型的几何稳定性，最优范围在0.5–2之间，可防止秩坍缩。
本文提出了一种分布谱诊断方法，用于在测试准确率上升之前定位 Transformer 模型中的 Grokking 相变。该方法利用经验分布和汉克尔动态模态分解（Hankel DMD）创建监测信号，以区分发生 Grokking 和未发生 Grokking 的训练运行。
对11个大型语言模型的全面谱分析，揭示了Transformers在推理与事实回忆过程中隐层激活空间中的相变现象，发现了七个基本现象，包括谱压缩、指令微调反转以及仅基于谱特性的完美正确性预测（AUC=1.0）。