标签
本文提出了 LARE（固定曝光量下的损失自适应重加权），该方法在大语言模型预训练过程中，根据持续统计的损失数据调整各领域的损失权重。在数据混合配比相同的条件下，该方法使一个 15 亿参数模型在五项基准测试中的表现平均提升了 7.84 个百分点。
RegMix-D 将 RegMix 扩展到动态数据混合，通过使用代理运行的损失轨迹来预测多个训练阶段的最优混合比例，相比静态方法取得了改进。
FastMix 是一个新颖的框架，通过使用单个代理模型和双层优化自动发现训练大型模型的数据混合方式，实现了最先进的性能，并大幅提升效率。
论文指出重复不匹配是数据混合实验无法扩展的主要原因，并提出了一种重复控制子采样程序，使得小规模实验能够使用远少于原先的token数量恢复出接近最优的混合方案。
解释中间训练作为预训练和后训练之间的一个阶段，基础模型在精选数据上继续训练，以增强特定能力，然后再进行指令微调。