标签
本文研究了在数据受限、算力充足的场景下，为缓解自回归语言模型预训练中的过拟合而采用训练时数据增强技术，发现结合词元级噪声、序列排列和目标偏移预测可以改善验证损失。
本文研究数据受限的语言模型预训练，提出了掩码输入正则化（MIR）以改进验证损失和下游性能，以及SoftQ，一种更好地捕捉重复数据下模型与数据交互的缩放定律。