At-Grok尚未收敛：Grokking表示指标的测量效度审计

# 对“顿悟”表示度量的测量有效性审计
来源：https://arxiv.org/html/2607.06639
## 顿悟尚未收敛：对顿悟表示度量的测量有效性审计
###### 摘要
在模算术任务上，网络的嵌入在已经泛化之后，仍会在数万步优化中持续压缩——因此在顿悟转变时刻读取的值，会将收敛电路的复杂度夸大3–5倍，而在模MLP上，甚至会使原本用于报告的趋势完全颠倒。然而，越来越多的顿悟研究仍从单个这样的快照读取表示结构，并将其视为收敛电路的性质。我们证明这种做法在两种不同意义上是不安全的，并提供避免这种风险的工具。首先，**测量风险**：在转变时刻读取的标准表示度量（嵌入有效秩）的值可能是一个瞬态值，长时间训练会将其压至低秩地板。顿悟时刻的值高估了收敛复杂度（即使在训练至收敛的Transformer上，仍高估1.3–1.5倍），而在MLP上，这一值抹消了唯一有意义的定性区分：哪些单元发生了压缩。与那种认为低秩压缩与准确率转变同时发生的解读相反，压缩滞后泛化一个很大的量（量级为\(T_{\mathrm{grok}}\)，\(\geq 10^4\)步）。第二，关于**控制该滞后的因素**的正面发现：在一个仅添加LayerNorm的单变量消融实验中，顿悟步已完成的秩压缩比例从0.87降至0.25，扩大了顿悟后的滞后——因此，在我们测试的每一个架构上，泛化的发生与表示压缩之间存在顿悟后的分离，其大小受归一化方案调节。我们将此打包为一个测量有效性审计，该审计分离出开始时刻（\(T_{\mathrm{grok}}\)）与压缩时刻（\(T_{\mathrm{compress}}\)），标记删失情况，门控未完全泛化的边界单元，验证压缩地板本身已稳定（同样的风险可能在分母上再次出现），并在顺序统计量未定义时拒绝给出排序结论。该审计附带一套对抗性测试套件，检查每个结论背后的**原因**——它曾在开发过程中捕获一次虚假置信的回归——以及一个通用适配器，可在不重新训练的情况下审计外部记录的训练日志。瞬态与滞后在我们测试的所有架构上均重现；一个次要的、MLP特有的“深度定律”（将范数预算与收敛地板相关联，Spearman -1.0）未能通过预注册的泛化性检验（Transformer +0.14；在自由权重衰减下协议反转），我们将其报告为一项关于泛化性的负面结果（附录A (https://arxiv.org/html/2607.06639#A1)）。

## 1 引言
顿悟——网络在拟合训练集之后很久才出现的延迟泛化[1 (https://arxiv.org/html/2607.06639#bib.bib1)]——越来越多地通过**表示**来研究：嵌入的傅里叶结构[5 (https://arxiv.org/html/2607.06639#bib.bib5)]、有效秩或谱熵复杂度[6 (https://arxiv.org/html/2607.06639#bib.bib6)]、内在维度以及持续同调[7 (https://arxiv.org/html/2607.06639#bib.bib7)]。这类文献中一个反复出现的手法是在顿悟步骤（即测试准确率上升的时刻）或其附近进行一次测量，并将其解读为泛化电路的性质。这种手法有一个容易触发且难以察觉的失效模式：表示度量在顿悟步骤的值未必是其收敛值，解读它可能会颠倒人们试图表征的依赖关系。在模算术上，我们发现了一个尖锐的实例。在顿悟时刻，嵌入有效秩普遍较高，且在低预算一端几乎不随预算变化。不压缩的边界单元（\(\rho = 1.00\)，从未压缩，秩保持\(\approx 42\)）与其强烈压缩的邻居（\(\rho = 1.05\)，收敛至秩\(\approx 12\)）在顿悟时刻读数几乎相同（\(\approx 46\) vs. \(\approx 48\)）。如果在此停步，自然会得出一个高而平的“范数控制的电路复杂度”结论，而这恰恰相反：每个完全泛化的预算经过长时间训练后，其秩会降至一个低秩地板，而边界单元仍保持高位。顿悟时刻的快照将收敛复杂度夸大了约3–5倍，并隐藏了唯一重要的区分（哪些单元发生了压缩）。

### 两个结果，分开处理。
我们小心地区分两个容易混淆的论断，因为它们具有不同的认识论地位和不同的目标。
(i) **测量风险（高估）**：在\(T_{\mathrm{grok}}\)处读取表示度量可能报告一个比收敛值高出数倍的值，在MLP上可能抹消压缩与非压缩的区分。我们并不声称以前的仔细工作犯了此错误：复杂度、内在维度、拓扑以及“先构建再压缩”等研究追踪了整个轨迹并直接记录了上升和下降[6 (https://arxiv.org/html/2607.06639#bib.bib6), 7 (https://arxiv.org/html/2607.06639#bib.bib7)]；它们不是目标。风险针对的是越来越常见的捷径做法：读取一次转变时刻的度量快照，仿佛它描述了收敛电路；我们的贡献是一个经过测试的程序，用于判定何时可以信任这种读法。底层实践很普遍：表示复杂度度量——有效秩、内在维度、流形几何——被常规用于刻画泛化解，并用于在控制参数（如权重衰减或任务难度）下进行比较[6 (https://arxiv.org/html/2607.06639#bib.bib6), 7 (https://arxiv.org/html/2607.06639#bib.bib7), 8 (https://arxiv.org/html/2607.06639#bib.bib8), 18 (https://arxiv.org/html/2607.06639#bib.bib18)]。风险特指该实践的变体：在单个转变时刻检查点读取值，而不是追踪至收敛。一个代表性的此类研究会扫一遍模任务上的权重衰减，将每个运行中测试准确率首次超过0.9的步骤取为顿悟步骤，并在该处报告嵌入有效秩（或表示的内在维度）作为泛化解的复杂度，从而得出结论：更强的正则化产生更简单的电路；我们的审计表明，这个转变时刻的值将收敛复杂度夸大了3–5倍，可能颠倒正则化排序，并抹消哪些单元发生了压缩（第4节 (https://arxiv.org/html/2607.06639#S4)）。我们不将任何颠倒的结论归咎于任何具体的已发表研究——仔细的工作会追踪完整轨迹，而其中一项研究[18 (https://arxiv.org/html/2607.06639#bib.bib18)]实际上报告了我们文档化的相同瞬态上升然后下降，只是基于不同的度量和任务——但快照版本的实践没有针对瞬态的保护，审计就是填补这一空白的工具。
(ii) **时序结果（滞后）**：另外，针对一个具体的解读，表示压缩并不与准确率转变同时发生：它滞后于准确率转变。Yunis等人[8 (https://arxiv.org/html/2607.06639#bib.bib8)]报告说，顿悟时的验证损失下降与所有权重矩阵上低阶解的同步发现一致；在长时间训练审计的分辨率下，我们发现嵌入秩压缩在准确率转变之后滞后很大（\(\geq 10^4\)步，量级为\(T_{\mathrm{grok}}\)）。这是一个可证伪的修正，具有指定的参照，并且是我们持高标准衡量的那一个。

### 分母也可能误导。
我们一开始就指出审计必须防御的一个自我指涉风险：我们用来评判顿悟时刻值的“收敛地板”本身也可能是瞬态。在最低预算的MLP单元上，嵌入在顿悟后达到平台，然后，很久之后，随着全局权重范数大约翻倍，经历第二次崩溃（第6节 (https://arxiv.org/html/2607.06639#S6)，图4 (https://arxiv.org/html/2607.06639#S6.F4)C）。在训练的最后十分之一读取的地板可能位于这第二个阶段内。因此，应用于分子的同样纪律也适用于分母：一个仔细的审计会验证地板已经稳定，而不仅仅是训练已经运行了很长时间。我们将其视为对论题的一个强化，而非一个警告。

### 什么调节滞后。
除了建立滞后，我们还确定了控制其大小的因素，这是本文的主要正面发现。在每次改变一个架构变量的单一框架中（第6节 (https://arxiv.org/html/2607.06639#S6)），顿悟步骤时已完成嵌入秩压缩的比例——**frac-pre**——从标准注意力模型上的0.87移动到仅添加LayerNorm时的0.25（其他不变），MLP介于其间为0.66。高frac-pre留下小的残差滞后；低的frac-pre产生大的滞后——但即使在我们观察到的最高frac-pre下（标准Transformer仍在顿悟后约\(0.63\,T_{\mathrm{grok}}\)内稳定，第7节 (https://arxiv.org/html/2607.06639#S7)），也存在非零滞后。因此，顿悟到压缩的分离是普遍的，其幅度受归一化方案调节——这一结果将“发生与压缩分离了多少？”从关于现象的问题重新表述为关于架构的问题。

### 贡献。
我们的发现处于两个不同的置信级别，在全程保持区别。中心结果有充分支持，并在我们测试的每一个架构上成立：顿悟时刻瞬态、顿悟到压缩的滞后、以及归一化对该滞后的中介控制。一个次要的观察故意更为狭隘——一个MLP特有的深度定律，被我们自己的预注册泛化性检验证伪——我们在每一步都说明哪个是哪个。
- •**顿悟时刻与收敛的审计（测量风险）**。我们在模加法和乘法MLP上证明，顿悟时的嵌入有效秩是一个瞬态峰值，在长时间训练下会崩溃；收敛解在每个完全泛化的范数预算（唯一一个仅部分泛化的预算是边界情况，它不压缩，审计将其门控掉）上都是低秩的。该瞬态不是钳制干预或算术的假象：它在自由权重衰减协议和奇偶性任务上也重现，在三个任务和两种协议中，每个泛化单元的顿悟秩均超过收敛地板；并且它与度量选择无关（也在参与比和稳定秩上出现）。
- •**压缩滞后诊断**。我们定义了\(T_{\mathrm{grok}}\)、\(T_{\mathrm{compress}}\)、它们的滞后、删失标志、排除未完全泛化的边界单元的门控、以及地板平台检查。审计报告两个时间在两种任务上存在大的分离，泛化先于压缩，滞后量级为\(T_{\mathrm{grok}}\)（\(\geq 10^4\)步），同时在扩展网格上明确放弃单一时间时钟的主张。
- •**什么调节滞后：顿悟后滞后是普遍的，归一化扩大它（正面结果）**。在单变量消融（MLP vs. 无LayerNorm的标准Transformer vs. 添加了LayerNorm的同一Transformer）中，仅LayerNorm的变化使frac-pre——顿悟步骤已完成的总嵌入秩压缩比例——从0.87移至0.25，并扩大了顿悟后滞后。每个臂上都存在滞后；LayerNorm使其变大。在此框架内，是LayerNorm（而非“是Transformer”）将压缩推迟到顿悟之后；MLP显示的大滞后是归一化介导的，而不是顿悟的性质。我们将此范围限制在我们拥有的统计功效内（见下文）。
- •**强制诚实的测试套件**。一个对抗性合成套件检查审计不会在删失、高地板边界单元、反弹或压缩先于顿悟的情况下伪造压缩时间，并且时钟型结论由有限顺序统计量而非匹配字符串支持。这在开发过程中捕获了一次真实的回归。
- •**Transformer剂量响应：瞬态泛化**。我们运行了一个统计功效良好的Transformer钳制+自由扫查，训练至收敛（第7节 (https://arxiv.org/html/2607.06639#S7)）。它泛化了中心论断——顿悟时刻瞬态在嵌入和解嵌入上重现（中位数1.3–1.5倍），与度量选择无关，在每个权重和激活位点上存在——并且滞后重现。它还提供了关于次要深度定律的清晰负面结果（附录A (https://arxiv.org/html/2607.06639#A1)）。
- •**范围**。我们不重新主张顿悟中的压缩（先前的工作已从多个角度建立了它）；贡献在于一个经过测试的协议，用于判定给定表示度量在\(T_{\mathrm{grok}}\)处是已收敛、被删失还是仍处于瞬态，以及对顿悟到压缩滞后进行范数预算量化和识别归一化为设定其大小的变量。

### 审计检查什么，快速一览。
给定每个步骤的记录（表示度量和测试准确率，跨越范数预算），审计：(i) 将发生时刻时钟\(T_{\mathrm{grok}}\)（首次达到顿悟准确率阈值的步骤）与压缩时钟\(T_{\mathrm{compress}}\)（发生后第一个度量在其地板容差内稳定的步骤）分离；(ii) 在计算任何排序统计量之前门控掉从未完全泛化或从未压缩的边界单元；(iii) 验证地板本身已稳定，因为相同的瞬态风险可能在分母上重现；(iv) 当非边界单元少于两个时，仅返回低统计功效/描述性结果；(v) 在跨预算的顺序统计量未定义时，拒绝给出时钟型结论。一个包含九个用例的对抗性套件预先固定每个结论及其原因。

## 2 相关工作
我们按测量内容及我们的审计相对于它们的位置对先前工作进行分组（表1 (https://arxiv.org/html/2607.06639#S2.T1)）。重复出现的主题是，几条工作线已经确立顿悟涉及压缩或几何重组；但没有一条将发生与压缩分离并处理删失和边界、将滞后量化为范数预算剂量响应、或交付一个经过测试的审计。

### 顿悟中的复杂度、秩和压缩。
几条工作线已确立顿悟伴随表示复杂度的下降。DeMoss等人[6 (https://arxiv.org/html/2607.06639#bib.bib6)]引入了Kolmogorov/MDL复杂度（粗粒度权重的有损压缩），在记忆阶段上升并在泛化时下降。与之最直接相关的是，Yunis等人[8 (https://arxiv.org/html/2607.06639#bib.bib8)]观察到一种与任务无关的观点，即顿悟时验证损失的下降与所有权重矩阵上低秩解的同步发现一致。我们核心的经验修正正是针对这种“一致”：在长时间训练审计的分辨率下，嵌入秩压缩并不与准确率转变同时发生，而是滞后一个大的、依赖于范数预算的量（\(\sim T_{\mathrm{grok}}\)）。Yunis等人[8 (https://arxiv.org/html/2607.06639#bib.bib8)]还定性地注意到，在更高的权重衰减下，较小的奇异值消失而u...  [翻译中断，原文如此]