我发现Transformer中一个预测几何稳定性的隐藏比率 [R]
摘要
本文通过Lyapunov谱分析发现，MLP和注意力谱范数之间的比率能够预测Transformer模型的几何稳定性，最优范围在0.5–2之间，可防止秩坍缩。
我使用Lyapunov谱分析对若干解码器Transformer模型进行了分析，发现MLP和注意力谱范数的比率在很大程度上决定了模型是否会在最后几层坍缩到秩-1。我总结出，该谱比率最好保持在0.5–2左右，以确保模型稳定直到最后几层。GitHub仓库：[https://github.com/yousef-rafat/the-1-1-rule](https://github.com/yousef-rafat/the-1-1-rule)
相似文章
谱异常值揭示Transformer注意力中主导的学习结构
本文应用Marchenko-Pastur随机矩阵理论于预训练注意力权重，将每个投影矩阵分解为类随机体（bulk）和谱异常值。因果实验表明，在Mistral-7B中将这些异常值置零会使HellaSwag、MMLU和PIQA的性能接近随机水平，从而揭示谱异常值编码了11个Transformer中占主导地位的学习结构。
Transformer的熵界：为何静态秩失效而注意力原生秩恢复
本文介绍了熵界（Entropic Bound），这是一种针对Transformer的任务内在容量的谱度量，证明了令牌混合算子的内在秩为所需模型容量提供了一个紧的下界。本文表明，虽然从线性注意力到真实注意力的简单迁移会失败，但注意力原生的内在秩能恢复完整的理论结构。
Transformer 记忆的吸引子几何：从冲突仲裁到自信幻觉
本文提出了一个统一的几何框架，用于理解 Transformer 的内存故障，通过隐藏状态吸引子盆地（attractor basins）区分冲突仲裁与幻觉。研究表明，随着模型规模的扩大，几何边际（geometric margin）在检测这些故障方面优于输出熵。
Transformer学习Mestre-Nagao启发式方法
本文训练了一个两层Transformer编码器，利用Frobenius迹将有理椭圆曲线按秩分类，准确率超过99%。机械可解释性揭示该模型学习了Mestre-Nagao启发式方法，并将注意力集中在素数位置上，表明Transformer能够学习数论算法。
Transformer残差流中的几何与行为分层
本文研究了训练后Transformer的残差流几何结构，表明预测方向作为一个特权锚点，将残差流的变化分为狭窄的、与读出相关的区域和宽广的计算区域，这一现象在18个模型中均成立。这些发现对可解释性和评估具有启示意义。