标签
本文研究了无标注的 AI 生成网页文本如何影响语言模型预训练：训练了 800 个模型并拟合新的缩放定律。研究发现，AI 文本在早期对数据匮乏的模型有益，但对以人类文本为主的数据预算很快转为有害；作者提出了一个将收益项与危害项分开的缩放定律，其效果优于现有定律，并开源了 WildAI 83B token 语料库及全部模型。