data-constrained

本文研究数据受限的语言模型预训练，提出了掩码输入正则化（MIR）以改进验证损失和下游性能，以及SoftQ，一种更好地捕捉重复数据下模型与数据交互的缩放定律。