@NielsRogge: 什么是中间训练？预训练与后训练之间的阶段 一个基础模型在更小、精选的数据集上继续训练……

X AI KOLs Timeline 新闻
mid-training pre-training post-training data-mixture capabilities nlp machine-learning

摘要

解释中间训练作为预训练和后训练之间的一个阶段，基础模型在精选数据上继续训练，以增强特定能力，然后再进行指令微调。

什么是中间训练？ 预训练与后训练之间的阶段 一个基础模型在更小、精选的数据混合物上继续训练，旨在增强原始预训练未充分覆盖的能力，例如多语言能力、领域知识或长上下文扩展。 它通常保持类似预训练的目标，但使用更高质量或更有针对性的数据，以便后续的指令微调、偏好微调或RL能够在更强能力的基础上塑造行为。 在此了解更多：https://paperswithcode.co/methods/mid-training…
查看原文
查看缓存全文

缓存时间: 2026/06/02 15:43

什么是中期训练？

介于预训练和后训练之间的阶段

基础模型会在一个更小、经过精心策划的数据混合集上继续训练，这些数据旨在增强原始预训练过程中未充分涵盖的能力，例如多语言能力、领域知识或长上下文扩展。

它通常保持类似于预训练的目标，但使用更高质量或更有针对性的数据，以便后续的指令微调、偏好微调或强化学习可以在更强的能力基础上塑造行为。

了解更多：https://paperswithcode.co/methods/mid-training…

相似文章

早期数据暴露提高后续微调的鲁棒性

arXiv cs.LG

本文表明，将后训练数据混合到预训练中（早期暴露）可以提高模型在后续微调后保留能力的鲁棒性，挑战了即时后训练性能预测保留的观点。对135M和1B模型的受控实验表明，早期暴露一致地改善了上游保留和下游性能之间的权衡。