spectral-analysis

本文提出了一种名为 Spectra 的方法，利用光谱占用率来分析和控制潜在图模型的实际容量，并论证了模型的秩并不等同于其容量。

本文通过Lyapunov谱分析发现，MLP和注意力谱范数之间的比率能够预测Transformer模型的几何稳定性，最优范围在0.5–2之间，可防止秩坍缩。

本文提出了一种分布谱诊断方法，用于在测试准确率上升之前定位 Transformer 模型中的 Grokking 相变。该方法利用经验分布和汉克尔动态模态分解（Hankel DMD）创建监测信号，以区分发生 Grokking 和未发生 Grokking 的训练运行。

一个用于计算星历和光谱数据的 Python 库，托管在 PyPI 上。

对11个大型语言模型的全面谱分析，揭示了Transformers在推理与事实回忆过程中隐层激活空间中的相变现象，发现了七个基本现象，包括谱压缩、指令微调反转以及仅基于谱特性的完美正确性预测（AUC=1.0）。