标签
本文提出了先验拟合语言模型（Prior-Fitted Language Model, PFLM），这是一个3亿参数的字节级Transformer，完全基于合成结构因果模型生成的样本进行预训练，使其能够在权重冻结的情况下通过上下文学习语言，尽管从未接触过任何真实文本。实验结果显示，其自然语言建模能力接近主流水平，并具备算术运算与压缩能力，在多个领域优于gzip/PPMd，这表明模型实现的是语言的元学习，而非记忆。