标签
本文研究了“小规模与大规模差距”，即与使用更大的数据集相比，在更少的样本上进行更多次重复训练可以带来更快的学习和计算节省，并将加速归因于采样偏差所实现的逐层增长。研究结果表明，带有重复的小数据集可以被主动利用作为有利的归纳偏置，尤其是在推理任务中。