next-implicit-token-prediction

下一隐式标记预测（NITP）通过在表示空间中添加密集的连续监督来增强语言模型预训练，从而在各种模型规模上以极小的计算开销提升泛化能力和性能。