标签
本文将先验拟合网络（Prior-fitted networks，TabPFN）扩展到自然语言，通过仅在合成序列上训练一个 300M 参数的字节级 Transformer 来实现——这些序列采样自随机采样的循环因果模型，即一个「语言先验」。在权重冻结的条件下，模型能够在上下文中学习预测六种语言，还能进行计数、比较数值大小、近似加法，以及预测素数和 Kolakoski 序列等确定性序列，表明上下文语言学习可以从合成的非语言先验中涌现。