Tag
论文推导了一个一阶公式，用于预测在掩码文本重建任务中，两个独立语料训练的预测器之间的期望分歧，并在 TinyStories、WikiText-103 和 CNN/DailyMail 上验证了该预测的准确性及其局限性。