学会学习一门语言
摘要
本文提出了先验拟合语言模型（Prior-Fitted Language Model, PFLM），这是一个3亿参数的字节级Transformer，完全基于合成结构因果模型生成的样本进行预训练，使其能够在权重冻结的情况下通过上下文学习语言，尽管从未接触过任何真实文本。实验结果显示，其自然语言建模能力接近主流水平，并具备算术运算与压缩能力，在多个领域优于gzip/PPMd，这表明模型实现的是语言的元学习，而非记忆。
查看缓存全文
缓存时间: 2026/10/06 12:55
论文页面 - Learning to Learn a Language
来源: https://huggingface.co/papers/2610.05879
摘要
我们提出了 Prior-Fitted Language Model（PFLM），一个拥有 3 亿参数的字节级 Transformer，其预训练仅使用来自合成非语言先验的样本。给定一段真实文本作为前缀，它在权重冻结的情况下学会在上下文中预测语言，而从未见过任何真实语言的任何单词。每一条训练序列都由一个循环结构因果模型生成，这些模型从该类模型的分布中重新采样得到。模型在训练过程中从未见过同一种语言两次，因此预测下文的唯一方式就是从前缀中推断出语言。从该先验中采样得到的样本具有与自然文本相同的统计特征：Zipf 频率分布、熵率的缓慢收敛以及长程依赖。在六种语言的 Wikipedia 上，比特每字节从均匀的 8 下降到了 100 万字节上下文时的 0.9 到 2.4 之间。若用数字而非文本作为输入，PFLM 学会了计数、比较数量级，并能进行近似加法。它能预测 Rudin-Shapiro 序列或素数指示序列这类确定性序列，并能将六个非文本领域（从源代码到语音）压缩到低于 gzip 和 PPMd 的水平。这个模型并没有学会一门语言，它学会的是如何学习一门语言。
View arXiv page (https://arxiv.org/abs/2610.05879)View PDF (https://arxiv.org/pdf/2610.05879)GitHub0 (https://github.com/cbl/prior-fitted-language-model)Add to collection (https://huggingface.co/login?next=%2Fpapers%2F2610.05879)
在你的 agent 中获取这篇论文：
hf papers read 2610\.05879
还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型 1
lennartcb/pflm1 Text Generation• 0.3B• 约 6 小时前更新 • 327 (https://huggingface.co/lennartcb/pflm1)
引用本文的数据集 0
暂无关联该论文的数据集
在数据集 README.md 中引用 arxiv.org/abs/2610.05879，即可从本页面链接到它。
引用本文的 Spaces 0
暂无关联该论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2610.05879，即可从本页面链接到它。
收录该论文的合集 0
暂无收录该论文的合集
将该论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到它。
相似文章
学会学习一门语言：从合成的非语言先验中实现自然语言的上下文学习 [R]
本文将先验拟合网络（Prior-fitted networks，TabPFN）扩展到自然语言，通过仅在合成序列上训练一个 300M 参数的字节级 Transformer 来实现——这些序列采样自随机采样的循环因果模型，即一个「语言先验」。在权重冻结的条件下，模型能够在上下文中学习预测六种语言，还能进行计数、比较数值大小、近似加法，以及预测素数和 Kolakoski 序列等确定性序列，表明上下文语言学习可以从合成的非语言先验中涌现。
大语言模型中的语言习得装置
本文提出了一种受LAD启发的预预训练方法，使用一种名为MP-Struct的形式语言，该语言编码了类自然语言结构。研究表明，这种方法提高了token效率，并赋予了模型类似人类的对结构不合理语言的抵抗力，挑战了先前关于有效预预训练语言的假设。
语言模型学习什么以及何时学习？隐性课程假设
本文提出隐性课程假设，证明语言模型预训练遵循一个结构化的、组合性的课程，其中能力跨架构一致涌现，并可从内部表示预测。作者通过设计涵盖检索、形态学、共指消解、推理和数学的任务进行验证，发现四个模型族中涌现顺序高度一致（ρ=0.81）。
用于数据高效语言学习的结构先验
本文研究了从非语言数据进行结构迁移以提高语言建模的数据效率，发现虽然它减少了下一个标记预测损失，但并未可靠地增强下游语言性能。
Hierarchical Latent Prediction for Language Models
This paper introduces HiLP, a hierarchical representation training method that adds multi-scale self-predictive learning to transformer pretraining, aiming to reduce compounding error and improve long-horizon reasoning and speculative decoding efficiency.