@rohanpaul_ai：AI 训练的各个独立阶段可以整合为一种统一的方法。卡内基梅隆大学的一篇新论文表明，预训练，……

X AI KOLs Following 论文
unified-training reinforcement-learning llm-training data-mixing pretraining reasoning

摘要

卡内基梅隆大学的一篇论文表明，预训练、微调和强化学习可以统一为一条训练规则（将 MaxRL 视为针对正确答案的似然训练）。混合数据训练在推理和编程基准测试中的表现优于分阶段训练，同时保留了通用能力。

AI 训练中彼此分离的阶段可以统一为一种方法。 卡内基梅隆大学的一篇新论文表明，预训练、微调和强化学习（RL）可以共享同一套训练规则，而混合使用这些阶段的数据，往往比将它们分开进行效果更好。 大语言模型通常分阶段训练：预训练、中期训练、微调，然后是强化学习，每个阶段都有各自的算法。阶段之间的生硬切换还可能抹去此前学会的技能。 作者将一种名为 MaxRL 的强化学习方法重新表述为：对模型自身生成的正确答案进行似然训练。这样，同一个训练器就能在训练过程中，以任意比例混合预训练文本、精选数据和强化学习样本。 在使用一个 1.24 亿参数模型进行推理谜题实验时，表现最好的混合训练方案超过了表现最好的分阶段训练方案，也更好地保留了通用能力。一个 7.6 亿参数模型在数学强化学习期间混入了 5% 的中期训练数据，随后再进行编程强化学习，在 MBPP+ 上达到了 32.69% 的得分，而分阶段训练的得分为 29.81%。 将你的训练流程视为一套数据混合调度方案，并尝试在强化学习中混入早期阶段的数据，而不是突然切换阶段。
查看原文
查看缓存全文

缓存时间: 2026/10/31 13:35

AI 训练的各个独立阶段可以整合为一种统一方法。

卡内基梅隆大学的一篇新论文表明，预训练、微调和强化学习（RL）可以共用同一套训练规则，而混合使用这些阶段的数据，效果往往优于分阶段训练。

大语言模型通常分阶段训练：预训练、中期训练、微调，最后是强化学习，每个阶段都有各自的算法。阶段之间的生硬切换还可能抹去此前学到的技能。

作者将一种名为 MaxRL 的强化学习方法重新表述为：以模型自身给出的正确答案为数据进行似然训练。这使得同一个训练器可以随时间以任意比例混合预训练文本、精选数据和强化学习样本。

在使用 1.24 亿参数模型进行的推理谜题实验中，表现最好的混合训练方案胜过了表现最好的分阶段训练方案，也更好地保留了通用能力。一个 7.6 亿参数模型在数学强化学习期间混入了 5% 的中期训练数据，随后再经过编程强化学习，在 MBPP+ 上达到了 32.69%，而分阶段训练的结果为 29.81%。

将你的训练流程视为一套数据混合比例调度方案，并尝试在强化学习中混入早期阶段的数据，而不是突然切换阶段。

相似文章

理解从预训练到后训练的推理

Hugging Face Daily Papers

本文研究了预训练选择（模型大小、数据）如何影响在推理任务上通过强化学习后训练的回报，使用国际象棋作为受控测试平台。研究发现，后训练性能可由预训练损失很好地预测，并且强化学习在简单谜题上放大正确走法，在困难谜题上揭示出正确走法，这些发现也迁移到数学领域。

使用单一算法训练基础模型

Hugging Face Daily Papers

一篇将基础模型的各训练阶段（预训练、中期训练、监督微调、强化学习）统一到单一基于似然的算法下的论文。该算法融合静态数据与强化学习生成内容，改善了准确率与计算量之间的权衡，并增强了能力保留。

从预训练到后训练的推理理解

arXiv cs.CL

本文以国际象棋作为受控测试平台，研究了预训练与强化学习（RL）后训练之间的关系。它建立了连接预训练损失与后RL性能的缩放定律，并表明RL在简单谜题上放大了正确的走法，同时在困难谜题上浮现出新的正确走法。