Meta FAIR 团队正在招聘合同制研究工程师。我们致力于研发自动化 AI 研究与开发的智能体，以及递归自我改进的科学，开发新的测试时学习算法，并将其应用于对齐等重要问题。📍 现场办公（Menlo Park / 旧金山湾区）或远程办公（理想时区为美国时区）。以下是我们部分工作，供参考：

• Self-Improving Pretraining：https://arxiv.org/abs/2601.21343
• Self-Challenging Agents：https://arxiv.org/abs/2506.01716
• SWEET-RL（多轮智能体强化学习）：https://arxiv.org/abs/2503.15478
• Self-Taught Evaluators：https://arxiv.org/abs/2408.02666
• Self-Rewarding Language Models：https://arxiv.org/abs/2401.10020
• Self-Alignment with Instruction Backtranslation：https://arxiv.org/abs/2308.06259
• AI Research Preference Models：https://arxiv.org/abs/2608.13940
• Autodata：https://arxiv.org/abs/2606.25996
• Recycling the Web（预训练数据质量与数量）：https://arxiv.org/abs/2506.04689
• NaturalReasoning：https://arxiv.org/abs/2502.13124
• Coconut（连续潜在空间中的推理）：https://arxiv.org/abs/2412.06769
• CoCoMix（基于连续概念的 LLM 预训练）：https://arxiv.org/abs/2502.08524
• RL from Human Interaction：https://arxiv.org/abs/2509.25137
• SPICE（Self-Play in Corpus Environments）：https://arxiv.org/abs/2510.24684
• Automated LLM Speedrunning Benchmark（NanoGPT）：https://arxiv.org/abs/2506.22419

这不是一个全职职位。合同期限为 1 年。感兴趣？请将简历发送至 xianl [at] meta。

利用后训练模型来预训练更好的模型

来源：https://arxiv.org/html/2601.21343

Self-Improving Pretraining：利用后训练模型来预训练更好的模型

Jack Lanchantin（共同贡献）、Shehzaad Dhuliawala、Danwei Li、Thao Nguyen、Jing Xu、Ping Yu、Ilia Kulikov、Sainbayar Sukhbaatar、Jason Weston、Xian Li（共同贡献）、Olga Golovneva（共同贡献）

摘要

大语言模型的经典训练流程分为多个阶段：先在原始文本上进行预训练，然后通过后训练来实现指令跟随和推理能力。然而，这种分离带来了一个根本性的局限：许多理想的行为——如安全性、事实性、整体生成质量和推理能力——只能在训练的后期阶段才被引入，尽管模型早期学到的模式已经在很大程度上塑造了其最终能力。为解决这一问题，我们提出了一种新的预训练和中期训练方法，将这些行为更早地纳入训练过程。我们利用一个已有的强大后训练模型来重写预训练数据并评判策略模型的采样轨迹（rollout），从而在训练早期就引入强化学习。实验表明，这种方法可以在质量、安全性、事实性和推理方面带来显著提升。

††通讯作者：[email protected]、[email protected]

引言

在原始文本上进行大规模预训练，再在精心策划的数据上进行广泛微调，这已成为训练大语言模型的经典范式。这种设计有一个核心弱点：安全性、事实性、质量和推理等属性通常是在预训练之后才被添加上去的。尽管预训练阶段获得的模式很大程度上决定了模型最终能做什么，但在训练的早期阶段并没有针对这些理想属性提供任何引导，使得训练精力未能集中在培养这些能力上。

当前的模型仍然存在各种弱点，例如在事实性、安全性和推理方面存在缺陷。我们假设当前的训练流程是导致这些问题的根本原因，修复这一流程可以纠正其中一些不足。

在本工作中，我们提出了 Self-Improving Pretraining（自我改进预训练）：利用更强的后训练模型来改进训练流程的早期阶段。从高层次来看，我们的方法使用已有的强大模型在两个方面引导当前策略模型的早期阶段训练：通过重写预训练数据来鼓励理想行为，以及作为评判者（judge）来奖励理想行为。

因此，在第 1 节中，我们首先介绍了一种基于强化学习的预训练方法，该方法重写预训练数据，并使用强大的评判者模型评估候选续写内容，以在预训练过程中直接提升安全性、事实性和整体生成质量。在第 2 节中，我们提出了“思维中期训练“（thinking mid-training），这是一个中间训练阶段，将交错的推理轨迹重写（增强）到预训练数据中，并结合监督学习和基于评判者的强化学习来优化这些思维过程的有用性。这些方法共同表明，在训练过程中早期引入后训练模型的重写和评判来引导策略模型，可以显著提升下游能力。在安全性、事实性、质量和具有挑战性的推理基准测试中，我们的方法相较于标准训练流程展示了大幅提升，这表明利用更强的模型来塑造预训练数据和目标是构建更强大、更可靠的有前景的方向。

1 面向安全性、事实性和质量的 Self-Improving Pretraining

确保大语言模型输出的安全性、事实性和整体质量是一个关键挑战，尤其是在这些模型被越来越多地部署到实际应用中的情况下。目前解决这些问题的主流方法涉及收集昂贵且精心策划的数据集，并进行多阶段的微调和对齐。然而，即使是这样复杂的流程也无法保证纠正预训练期间学到的模式。因此，在预训练阶段解决这些问题至关重要，因为它塑造了模型的核心行为，并防止不安全或产生幻觉的输出变得根深蒂固。

为解决这一问题，我们提出了一种新的预训练方法，该方法流式处理文档，并使用强化学习（RL）在每一步改进接下来的 K 个生成 token。一个强大的后训练模型对候选生成内容——包括模型的采样轨迹（rollout）、原始后缀（suffix）和重写后的后缀——就质量、安全性和事实性进行评判。在训练早期，该过程依赖原始后缀和重写后的后缀；随着模型改进，RL 开始奖励高质量的采样轨迹。这种方法从基础上构建更高质量、更安全、更符合事实的模型。在实验中，我们的方法相较于标准预训练，在事实性和安全性方面分别取得了 36.2% 和 18.5% 的相对提升，在整体生成质量方面胜率提升高达 86.3%。

图 1：Self-Improving Pretraining：我们提出的模型训练流式处理预训练文档，并在每一步使用 RL 改进接下来的 K 个生成 token（后缀，给定前缀）。一个强大的已有后训练模型在每个 RL 步骤中对生成候选进行评判，以评估质量、安全性和幻觉情况，候选包括：(i) 当前策略的 N 个采样轨迹；(ii) 原始后缀；(iii) 由强大后训练模型重写的后缀。重写可以提升预训练数据的质量或安全性；在后一种情况下，由于前缀仍然是不安全的，模型始终在学习如何转向安全的后缀。在训练开始时，模型的采样轨迹 (i) 质量较低，因此训练依赖候选 (ii) 和 (iii)；在训练后期，评判者开始奖励获胜的采样轨迹。

标准的预训练方式是在大量（通常是人类撰写的）语料库上预测下一个 token。人类撰写的文档在质量、安全性——一定程度上也包括事实性——方面差异很大。标准方法是通过识别并移除低质量文本来策划训练数据，但问题可能依然存在（Nguyen et al., 2025）。通常，最终预训练的模型仍可能产生有毒、有偏见或其他不安全的回答。此外，无论原始训练数据多么真实，训练后的模型仍可能产生幻觉，因为高概率的下一个 token 看似合理，但并未基于事实。无论在何种情况下，简单地从预训练上下文中移除所有低质量、不安全或非事实的数据也意味着模型不会学会在面对这些输入时转向质量、安全性和事实性，例如在与人类对话时或在推理时将此类低质量文档作为上下文。标准方法试图在后训练阶段纠正这些问题，但这无法保证修复这些模式，因为这些模式本质上是预训练模型的核心行为（Itzhak et al., 2025）。

在本工作中，我们提出了一种全新的预训练方案，与下一 token 预测范式截然不同，称之为 Self-Improving Pretraining（自我改进预训练）。我们的整体设置如图 1 所示。首先，我们假设可以访问一个已有的强大后训练模型，通常它是从上一轮自我改进循环中训练得到的。我们利用这个强大的模型来帮助预训练我们的策略模型。其次，在预训练过程中，我们从序列生成而非下一 token 预测中学习，使模型能更准确地学习如何生成序列，这才是部署时的目标。我们认为，仅在后训练阶段解决高质量、安全和真实的序列生成可能已经太晚了。

我们的方法流式处理预训练数据，并在每一步将其分割为最近的 N 个 token（称为后缀，suffix），以剩余的更早上下文（称为前缀，prefix）为条件。此时，现有的后训练模型被提示重写后缀，使其从潜在不安全或其他低质量的前缀转向高质量的后缀，该重写后的后缀可用于预训练我们的策略模型。第三，现有的后训练模型被用作评判者来评估原始后缀、重写后的后缀和当前策略模型的采样轨迹。这用于分配奖励并通过强化学习（RL）预训练策略。在预训练早期，该过程依赖原始后缀和重写后的后缀；随着模型改进，RL 奖励高质量的采样轨迹。

在我们的实验中，我们发现在从零开始训练和持续预训练两种设置下，与标准的下一 token 预测相比，我们在广泛的评估中都取得了显著的性能提升。例如，在后者（持续预训练）设置中，我们在生成质量方面获得了相对标准预训练基线高达 86.3% 的胜率，在事实性和安全性方面分别取得了 36.2% 和 18.5% 的相对提升。类似地，在从零开始训练的设置中，我们在生成质量胜率方面观察到 31.1% 的绝对提升，在安全性方面有 14.4% 的相对提升。我们提供了对这些提升所贡献的优化策略的详细分析和消融研究。

1.1 方法

1.1.1 序列预训练任务：以前缀为条件的后缀生成

我们将预训练重新构想为一个序列学习任务，而非下一 token 预测。为此，我们将预训练数据流分割为大小为 N 的块，当前块 x_j 称为后缀（suffix），上下文中连续的块称为前缀（prefix），记为 x_1, \dots, j-1。序列预训练任务就是给定前缀，生成一个长度为 N 的高质量序列：

\bar{x}_j \sim \pi(*|x_1, \dots, j-1)

其中 \pi 是我们的策略模型。我们将生成的 \bar{x}_j 限制为 N 个 token，并可以将其与预训练数据中存在的已知后缀 x_j 进行比较以供评判。然而，关键的是，我们不应该期望或总是希望与后缀完全匹配，事实上在许多情况下我们不希望如此，例如当后缀质量低、不安全或非事实时。但在预训练数据中存在高质量后缀的情况下，它们可以直接作为我们希望策略模型模仿的参考。因此，我们提出的序列预训练将利用一个已有的教师模型来区分这些情况，下一节将对此进行描述。

1.1.2 利用后训练模型的 Self-Improving Pretraining

我们的自我改进框架假设我们已经可以访问一个完全训练好的（即先预训练后后训练）模型。该模型实际上已经吸收了整个预训练和后训练数据集中的信息——这种专业知识现在可以被应用于预训练数据集中的单个样本，以使用实际上优于其自身训练信号的训练信号来训练一个新模型。

我们考虑以两种方式使用这个固定的教师模型：作为重写者（rewriter）和评判者（judge）。

后缀重写者

给定前缀 x_1, \dots, j-1 和后缀 x_j，重写者的任务是生成一个后缀的重写版本 \hat{x}_j，使其在策略训练中优于原始的 x_j。策略训练将使用相同的前缀 x_1, \dots, j-1，但以重写后的 \hat{x}_j 作为目标。在训练中，重写后的 \hat{x}_j 可以通过多种方式优于原始后缀 x_j：

• 整体质量：如果后缀质量低，例如来自预训练语料库中质量较低的部分，重写者可以对其进行改进，使训练目标质量更高。
• 安全性：如果前缀和后缀都不安全，重写者可以引导模型在给定不安全前缀的情况下转向安全的后缀。注意这与简单地重写整个原始文档完全不同——后者意味着模型不再暴露于不安全的输入。
• 增强：以各种方式重写数据可以提升性能，正如在离线设置中重写整个文档已被证明的那样。这已被证明可以提升多样性与知识（Hao et al., 2025；Allen-Zhu and Li, 2023）、质量（Nguyen et al., 2025）以及推理能力（Wang et al., 2025；Ishibashi et al., 2025）。我们的设置允许模型从自然输入（前缀）数据转向新的增强内容（通过重写的后缀）。

要构建这样的重写者，我们可以直接提示一个已有的后训练模型，也可以为其专门进行进一步微调。我们在 1.2 小节中详细描述了我们的方法。

后缀评判者

给定前缀 x_1, \dots, j-1 和候选完成 \bar{x}_j，评判者的任务是辨别哪个完成作为策略训练的目标更优。因此，评判者可以通过多种方式提供信号来改进策略模型，包括：

• 整体质量：如果后缀、重写版本或某些采样轨迹质量低，它们将获得低奖励。在训练开始时，采样轨迹可能较差，后缀或重写版本可能获得更高的奖励。经过足够的训练后，采样轨迹更可能获得高奖励。
• 安全性：如果前缀和后缀都不安全，重写版本或采样轨迹可以引导模型在给定不安全前缀的情况下转向安全的后缀。在多个策略采样轨迹之间，评判者可以选择最安全的，从而鼓励模型生成的安全性。
• 事实性：类似地，经过足够的训练后，从采样轨迹中选择最符合事实的生成可以提升策略模型的事实性。

与构建重写者类似，要构建评判者，我们可以直接提示一个已有的后训练模型，也可以为其专门进行进一步微调。在我们的实验中