Grokking延迟的首达时间预测：基于AdamW的校准定律与因果验证

arXiv:2605.18845v1 公告类型: 新 摘要: 我们首次对AdamW优化器下的grokking延迟进行了定量预测。将延迟视为首达时间，我们推导出一个封闭形式的定律 T_grok - T_mem = (1 / 2 kappa_LL eta lambda) log(V_mem / V_star)，其中 V_t = ||theta_t||^2 是平方参数范数，V_star 是与架构相关的阈值，而 kappa_LL 吸收了AdamW对干净SGD收缩率 2 eta lambda 的修正。在单个超参数单元上校准 (kappa_LL, V_star) 后，该定律在26个保留运行中预测grokking延迟，MAPE为17.7%，覆盖41倍延迟范围；该定律可推广至MLP（MAPE 18.0%，N=34），并在跨任务扩展中退化为23.3%（N=46，43.5倍范围），且存在结构化残差，其中 V_star / V_mem 在架构内保持相对稳定（在1层Transformer上的CV约为14%）。 V_t的首达时间必要但不充分。一个分位距定理表明，正延迟需要同时满足范数分离 V_mem > V_post 以及角度可达性达到阈值 alpha_star = arcsin(C / V_T_mem^(1/2))，其中C可根据经验NTK特征图和验证间隔分位数计算。在模数 p=89 上校准C，可以预测 p=97 时的 alpha_star = 47.2度（观测值为47.8度，误差1.3%），作为先验跨单元预测。在记忆阶段冻结范数或去除权重衰减的因果干预消除了grokking（0/6 vs. 基线3/3），将角度位移限制在12度附近。 kappa_LL 是根据每个架构经验测量而非从 (beta_1, beta_2, epsilon) 推导的；在四种架构内，CV最多为15%，但不同架构变体之间的值差异约为2倍（除深度外）。实验范围是AdamW下的算法任务（模运算、稀疏奇偶性）；该定律是否可迁移至自然语言规模模型仍有待验证。