标签
本文审计了grokking中表示指标的测量效度，表明grokking过渡期的值高估了收敛后的电路复杂度，且压缩滞后于泛化。它提供了将onset与压缩分开的工具，并报告了关于一般性的负面结果。
引入跨轨迹嵌合体干预，以分离权重大小和方向在Grokking中的作用，表明方向携带可转移的电路身份，而范数影响被覆盖的敏感性。
本文研究了权重衰减如何作为控制参数，使在模算术上训练的Transformer在记忆与泛化之间发生转变，并引入了两种基于注意力激活的廉价在线诊断指标，用以追踪这些动态。
研究发现，尽管架构各异，语言模型在表示数字时会独立演化出相似的周期傅里叶特征，其中只有部分模型在模运算中实现了几何可分性。