LM 预训练的泛化动力学（4 分钟阅读）

# LM 预训练的泛化动力学 来源：https://www.alphaxiv.org/abs/2609.33150 在预训练过程中，语言模型往往被训练损失的平滑下降，以及在熟悉基准测试上得分的提升所评判。这些趋势可能会掩盖模型**如何**回答问题时的突变。模型可能会被提示中的某种诱人模式牵着走，而不是去推断任务本身，然后在稍后的某个检查点又切换回去。在"answer+1"算术提示下，OLMo3-32B 在 2.17T 预训练 token 时得分为 81%，在 2.19T 时为 0%，在 2.21T 时为 81.7%。在这项评测中，一次"成功"意味着与算术一致的答案击败了那个诱人的连续模式答案。作者将这种行为称为**模式跳变**（mode-hopping）。这个算术反转只是一个特定任务的例证，并不表明每一种泛化都会这样反转。 六幅面板示意图：损失、下游能力和泛化曲线。 示意图。上排：预训练损失、非涌现的下游能力，以及涌现的下游能力。下排：三类泛化。 在这里，泛化指的是推断任务本身或可迁移的结构，而不是跟随一个浅层的线索。作者构建了一套由六个廉价的零样本或少样本行为测试组成的套件，外加两个微调泛化测试。这些测试对比： - 翻转的标签 与 熟悉的情感模式； - 重复或连续的提示答案 与 解决所呈现的问题； - 真实性（truth）与 表面的真实性（truthiness）； - 直觉性的错误答案 与 反思性的推理； - 彼此脱节的事实 与 一个连贯的人格（persona）。 在算术的例子中，演示（demonstrations）给出的是 1、2、3。测试题的算术答案是 8，而诱人的续写答案是 4。 基于提示的测试比较的是预定义答案片段的概率，而不是依赖模型生成可提取的答案。它们的结果是在四个随机种子上取平均。多跳人格 QA 的机制有所不同，因为它是生成式的。每个人格只有五道测试题，会被反复采样。 该研究追踪的是 OLMo3 和 Apertus 的通用预训练检查点，并排除了中期训练（mid-training）和长上下文阶段。作者报告说，这些模型的训练量已达到 Chinchilla 最优预算的 9 倍至 90 倍。 Schaeffer 等人在《Are Emergent Abilities of Large Language Models a Mirage?》(https://www.alphaxiv.org/abs/2304.15004) 中论证，不连续或非线性的评测指标可能使平滑的输出变化看起来像是突然的涌现。Wen 等人通过两种方式排除了这种简单解读： - 他们不仅在硬准确率上发现了模式跳变，在软概率间隔 $P(\text{correct}) - P(\text{incorrect})$ 上也同样发现了。 - 他们发现，以预训练 FLOPs 为横轴作图（以及以 token 数为横轴作图）时都能观察到该现象。 相比之下，常规基准测试的表现在整个预训练过程中保持稳定。 第二个检验测试了单次更新是否会引发跳变。作者在随机采样的预训练数据上对 OLMo3-32B 执行了一步优化，变化批大小和学习率。测试套件的概率几乎不发生变化，即使学习率高达 1e-2。将振荡曲线上的五个检查点取平均可以缓解模式跳变，但并不能消除它。 这些检验反对"跳变只是局部优化波动的简单解释"，但它们并未指出真正的原因。这些结果还具有数据集特异性：跨数据集对的平均相关性通常较低，尽管较大的模型相关性更高。 利用他们的玩具测试套件，作者在 4.5T 和 4.9T token 处选定了 OLMo3-32B 的检查点。经过数学 SFT 后，4.5T 检查点在 GPQA 上得分为 36.3%，而 4.9T 检查点为 29.8%。经过通用后训练后，4.5T 检查点对预填充攻击（prefilling attack）的鲁棒性为 53%，对比 4.9T 的 21%。在这一对比中，4.5T 检查点甚至胜过其他被采样的检查点，尽管更晚的预训练或中期训练可以提升分布内性能。在这些后训练设置下，一个中间检查点可能是一个更好的起点。这些结果并不能表明早期检查点在一般情况下总是获胜。 六幅面板：对比 4.5T 与 4.9T 的 OLMo3-32B 检查点。 上排：微调步数与 MATH-500 准确率、GPQA-Diamond 准确率以及预填充攻击鲁棒性的对比，比较 4.5T 与 4.9T 检查点。下排：相应指标与预训练 token 数（T）的关系，标出所选定的高/低上下文学习（ICL）检查点。 一个初步的小规模实验针对一项评测，测试了训练数据是否可以引导这种行为。从一个中间的 OLMo3-32B 检查点出发，作者在三类数据上继续训练： - 随机采样的数据（未受控的运行）； - 因早期窗口在 answer+1 评测上更倾向于模式匹配而选出的子集； - 因早期窗口在该评测上更倾向于泛化而选出的子集。 受控运行会稳定趋向其预期行为，而未受控的运行则仍在跳变。 作者将这些发现解释为：在容量受限的模型中，浅层电路与可泛化电路之间存在竞争。这是他们的假设。这些实验展示的是行为上的变化，而非电路本身。 泛化不保证会随着更多训练而稳步成熟。这套测试是一个廉价的行为监视器，能够揭示反转现象。在所报告的应用中，它帮助选择了检查点，并且通过数据选择引导了一项特定的行为。该测试套件的代码已在 GitHub 仓库中公开（https://github.com/Jiaxin-Wen/GDsuite）。