图谱分析（Fiedler值与Scheffer CSD指标）在损失函数变化前21,000步预测grokking——五个可重复实验 [R]

Reddit r/MachineLearning 论文
grokking spectral-analysis fiedler-value critical-slowing-down neural-networks complex-systems early-warning

摘要

应用图谱分析（Fiedler值）和Scheffer临界减速指标来预测神经网络中的grokking，在损失函数变化前21,000步检测到它，在五个可重复实验中。

我一直在应用Fiedler值（权重图拉普拉斯矩阵的第二小特征值）结合Scheffer临界减速指标来监控训练过程中的神经网络拓扑结构。 五个实验，全部可在24小时内由CPU重现： 1. 检测：lambda-2在测试准确率变化前21,000步检测到grokking的临近 2. 分类：grokking与灾难性遗忘具有不同的结构特征（斜率分别为0.00128和0.00471/步） 3. 引导：结构引导的干预保留了91.7%的知识，而无引导仅保留2.6% 4. 累积：三个连续任务，保留率100%/100%/97.5%，跨任务grokking加速48倍 5. 先发制人的课程：兼容性评分正确排序任务破坏风险，桥接保留100% vs 直接保留0% 在2层MLP（模算术）和1层Transformer（序列预测）上进行了测试。 论文中有诚实的局限性说明部分。这些是玩具任务，尚未验证扩展到生产架构。该方法源自复杂系统科学（Scheffer的临界转变早期预警指标），并将其应用于权重图而非生态系统或金融市场。 代码与论文：[https://github.com/EssexRich/neural_si_validation](https://github.com/EssexRich/neural_si_validation) 欢迎讨论数学原理、实验设计或局限性。
查看原文

相似文章

用于定位 Grokking 相变的分布谱诊断方法

arXiv cs.LG

本文提出了一种分布谱诊断方法，用于在测试准确率上升之前定位 Transformer 模型中的 Grokking 相变。该方法利用经验分布和汉克尔动态模态分解（Hankel DMD）创建监测信号，以区分发生 Grokking 和未发生 Grokking 的训练运行。