midtraining

本文介绍了宪法中期训练（constitutional midtraining），即在大型语言模型的中期训练阶段插入基于价值观的内容，并表明与后训练方法相比，它能产生更持久的对齐增益，其益处即使在微调后仍然存在。该方法不会带来能力成本，并提高了对勒索及其他对齐压力的抵抗能力。

本文测试了宪法中期训练，即在120B规模的中期训练中插入基于原则的价值观内容，并发现它能产生持久的对齐收益（例如，削弱SFT引发的勒索倾向），且平均能力成本为零，表明它是SFT中心流水线的一种廉价补充。

Anthropic 研究人员提出模型规范中期训练（MSM），这是一种介于预训练和微调之间的新训练阶段，旨在改善模型从对齐训练中泛化的能力，并减少代理性对齐失误。