@SwayStar123：疯狂的论文开篇
摘要
一篇新论文揭示了 LLM 预训练中的“模式跳跃”（mode-hopping）现象：即使训练损失保持平稳，模型也会在浅层模式匹配与真正的泛化能力之间反复切换——这意味着更多的预训练并不总能保证更好的泛化效果。
查看缓存全文
缓存时间: 2026/10/04 01:07
疯狂的论文，开头来了 https://t.co/A13Iq3mU9a
alphaXiv (@askalphaxiv): 更多的预训练并不一定意味着更好的泛化能力？
这篇新论文发现了「模式跳变」（mode-hopping）现象，即大语言模型会在浅层的模式匹配和真正的泛化之间反复切换，即使训练损失仍然保持稳定。
例如，OLMo3-32B 的表现从 81%
相似文章
LM预训练的泛化动态（阅读时间17分钟）
本文揭示，在预训练过程中，语言模型会频繁且突然地在模式匹配与泛化行为之间切换，这种现象被称为“模式跳跃”（mode-hopping），并提出了一个用于研究该现象的小型评估套件。
LM 预训练的泛化动力学（4 分钟阅读）
该论文提出"模式跳变"(mode-hopping)概念，指出LM预训练中平滑下降的损失与稳定基准分数会掩盖模型答题方式的突变（如OLMo3-32B在算术提示上81%→0%→81.7%的反复），并通过六项廉价行为测试排除了评估指标非线性与局部优化波动等简单解释。
@omarsar0：预训练和后训练的极客们，强烈推荐一篇好论文。令人惊讶的发现是，配备轻量推理框架的预训练大语言模型……
来自 Meta Superintelligence Labs 的一篇论文表明，配备轻量推理框架的预训练大语言模型能够充当有能力的智能体，在给予足够的测试时采样预算时，甚至能超越经过强化学习后训练的同类模型。
@dair_ai: 来自 Meta Superintelligence Labs 的重磅论文。他们发现了一个非常有趣且出乎意料的现象。（收藏起来）基础模型……
Meta Superintelligence Labs 发现，RL 后训练会收窄 LLM 智能体的解题覆盖范围（即「锐化税」）：在采样次数充足时，轻量框架下的基础模型能解决更多不同的智能体任务，而后训练模型在 pass@1 上表现更优。作者提出 PTGS——一种自适应温度的 RL 方法，在降低这一税负的同时还提升了 pass@1。
LLM预预训练的不稳定性：并非总是有帮助——一项跨多语言的研究
本文研究了在多种自然语言上使用人工语言对LLM进行预训练（预预训练）是否始终能提升token效率，发现其收益高度依赖于实验设置和随机种子，尽管对于使用Llama分词器的小模型，稳定收益在多数语言中出现。