标签
一篇新论文揭示了 LLM 预训练中的“模式跳跃”（mode-hopping）现象：即使训练损失保持平稳，模型也会在浅层模式匹配与真正的泛化能力之间反复切换——这意味着更多的预训练并不总能保证更好的泛化效果。
该论文提出"模式跳变"(mode-hopping)概念，指出LM预训练中平滑下降的损失与稳定基准分数会掩盖模型答题方式的突变（如OLMo3-32B在算术提示上81%→0%→81.7%的反复），并通过六项廉价行为测试排除了评估指标非线性与局部优化波动等简单解释。
本文揭示，在预训练过程中，语言模型会频繁且突然地在模式匹配与泛化行为之间切换，这种现象被称为“模式跳跃”（mode-hopping），并提出了一个用于研究该现象的小型评估套件。