论文页面 - 揭秘数据受限语言模型预训练中的训练时数据增强

来源：https://huggingface.co/papers/2606.16246

摘要

训练时数据增强技术有助于缓解自回归语言模型预训练中的过拟合问题，通过在固定数据集上进行多轮训练时，延迟性能恶化并提升最终模型质量。

随着人工智能实验室接近数据天花板——计算能力已超过高质量新文本的生成速度——语言模型预训练正转向一种数据受限、计算资源丰富的模式，这需要在固定语料库上进行高效的多轮训练（https://huggingface.co/papers?q=multi-epoch%20training）。标准自回归（AR）预训练在这种设置下严重过拟合，过早达到最优值后持续恶化。我们研究训练时数据增强（https://huggingface.co/papers?q=data%20augmentation）作为正则化手段，以缓解这种过拟合（https://huggingface.co/papers?q=overfitting），从而允许在相同数据上进行数百轮的有效训练。我们引入了三种正交的数据增强类别，用于自回归预训练：词元级噪声（https://huggingface.co/papers?q=token-level%20noise）（掩码、随机替换）、序列排列（https://huggingface.co/papers?q=sequence%20permutations）（从右到左预测、填空式预测）以及目标偏移预测（https://huggingface.co/papers?q=target%20offset%20prediction）（对于 i > 1 预测 x_{t+i}）。通过系统性消融实验，我们发现各单项增强手段相对于基准线都能延迟过拟合（https://huggingface.co/papers?q=overfitting）并降低验证损失（https://huggingface.co/papers?q=validation%20loss），其中随机词元替换在单项方法中达到了最佳的最小损失。组合多个增强类别可进一步降低最小验证损失（https://huggingface.co/papers?q=validation%20loss）。我们的实验表明，数据增强（https://huggingface.co/papers?q=data%20augmentation）能够缓解自回归预训练的数据效率低下问题，并为数据受限场景（https://huggingface.co/papers?q=data-constrained%20regime）提供了一种有前景的解决方案~\footnote{所有代码和数据可在 https://github.com/michaelchen-lab/data-augmentations-for-pretraining 获取。}

查看 arXiv 页面（https://arxiv.org/abs/2606.16246） 查看 PDF（https://arxiv.org/pdf/2606.16246） GitHub3（https://github.com/michaelchen-lab/data-augmentations-for-pretraining） 添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.16246）

将该论文集成到您的 agent 中：

hf papers read 2606.16246

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.16246 以便在此页面建立链接。

引用此论文的数据集 0

暂无数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.16246 以便在此页面建立链接。

引用此论文的 Spaces 0

暂无 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.16246 以便在此页面建立链接。

包含此论文的收藏集 0

暂无收藏集包含此论文

请将此论文添加到一个收藏集（https://huggingface.co/new-collection）以便在此页面建立链接。