data-mixture

RegMix-D 将 RegMix 扩展到动态数据混合，通过使用代理运行的损失轨迹来预测多个训练阶段的最优混合比例，相比静态方法取得了改进。

FastMix 是一个新颖的框架，通过使用单个代理模型和双层优化自动发现训练大型模型的数据混合方式，实现了最先进的性能，并大幅提升效率。

论文指出重复不匹配是数据混合实验无法扩展的主要原因，并提出了一种重复控制子采样程序，使得小规模实验能够使用远少于原先的token数量恢复出接近最优的混合方案。

解释中间训练作为预训练和后训练之间的一个阶段，基础模型在精选数据上继续训练，以增强特定能力，然后再进行指令微调。