LLM预训练中的领域数据重复扩展研究

随着大型语言模型的扩展，其训练令牌预算也必须增加，以维持适当的每参数令牌数比（\(TPP\)）。然而，高质量领域数据比一般网络数据更难扩展。随着模型大小和训练令牌预算的增加，其在训练混合数据中的比例趋于减少。重复可用的高质量数据提供了一种有效的方式来抵消这种稀释，但过度重复可能导致过拟合。我们在实际LLM扩展中研究这种权衡，其中训练令牌预算与模型大小成比例增长。对于固定领域，我们首先发现，在固定 \(TPP\) 下，最佳重复次数随模型大小轻微增加，这令人惊讶。在不同领域中，我们发现最佳重复次数与领域的最终验证损失强烈负相关：损失较低的领域通常可以从更多重复中受益。相比之下，唯一领域数据的数量与最佳重复次数仅弱相关。这些发现表明，在具有相同 \(TPP\) 的较小代理模型上调整的重复次数可以为较大模型提供实用的估计。