标签
本文提出了 LARE（固定曝光量下的损失自适应重加权），该方法在大语言模型预训练过程中，根据持续统计的损失数据调整各领域的损失权重。在数据混合配比相同的条件下，该方法使一个 15 亿参数模型在五项基准测试中的表现平均提升了 7.84 个百分点。