合成预预训练在规模扩展下依然有效，但并非源于语法先验

Hugging Face Daily Papers 论文
pretraining synthetic-data token-efficiency scaling-laws language-models long-range-retrieval

摘要

研究系统评估了合成数据预预训练（PPT）在 500M 到 7B 参数、最高 100B token 预训练预算下的表现，发现 PPT 的 token 效率增益在大规模下依然存在，但这些增益并非来自先前假设的语法先验，而是源于提升长程检索能力的 PPT 任务。

预预训练（Pre-pretraining，PPT）使用合成的非自然语言数据进行训练，可提升语言模型预训练（PT）阶段的 token 效率。先前工作将这一增益归因于语法先验，即在 PPT 阶段学到的结构归纳偏置能够迁移到自然语言语法。然而，PPT 仅在参数量至多 1B 的模型上、且预训练预算低于 2B token、以网页文本为主的数据上被测试过。目前尚不清楚 PPT 在更大规模下、以及在更接近真实场景的、融合了多种来源（如代码和数学）的预训练数据混合下是否仍然有效。因此，我们开展了一项关于 PPT 的全面研究，涵盖五种 PPT 任务、四种预训练数据混合、四种参数规模（500M 到 7B），以及最高达 100B token 的预训练预算。我们的结果表明，PPT 的下游性能和 token 效率增益在大规模下依然成立，例如在 3B 规模下可节省至少 21B 的预训练 token。然而，与先前工作不同，我们没有发现一致的证据表明这些增益源于语法先验。下游性能与语法可接受性在不同模型规模之间并无一致的对应关系。相反，我们发现下游增益来自那些能提升长程检索能力的 PPT 任务。最后，PPT 的性能增益对预训练数据混合的构成方式具有鲁棒性，仅在缺少网页文本时才会减弱。总体而言，PPT 是预训练中一种低成本的补充手段，未来的 PPT 任务设计应面向长程检索，而非自然语言语法。
查看原文
查看缓存全文

缓存时间: 2026/10/01 12:24

论文页面 - Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior

Source: https://huggingface.co/papers/2609.39827

摘要

在合成的非自然语言数据上进行预预训练（PPT），可以在语言模型预训练（PT）期间提升 token 效率。先前的工作将这一增益归因于一种语法先验，即在 PPT 期间学到的、可迁移到自然语言语法的结构性归纳偏置。然而，PPT 此前仅在参数量最多 1B、PT 预算低于 2B token 且以网络文本为主的模型上验证过。PPT 是否在更大规模、以及在更贴近现实的 PT 数据混合（例如代码和数学等多种来源）下依然有效，目前仍未知。因此，我们对 PPT 开展了一项全面研究，涵盖五个 PPT 任务、四种 PT 数据混合、四个参数规模（500M 到 7B），以及高达 100B token 的 PT 预算。我们的结果表明，PPT 的下游性能与 token 效率增益在规模化后依然存在，例如在 3B 规模下至少可以节省 21B PT token。然而，与先前工作不同，我们没有发现一致的证据表明这些增益源于语法先验。下游性能在不同模型规模下与语法可接受性并不一致对应。相反，我们发现下游增益来自那些能够改善长程检索的 PPT 任务。最后，PPT 的性能增益对 PT 数据混合的构成方式是稳健的，只有在缺少网络文本时才会减弱。总体而言，PPT 是 PT 的一种低成本增补，未来的 PPT 任务设计应面向长程检索，而非自然语言语法。

View arXiv page (https://arxiv.org/abs/2609.39827)View PDF (https://arxiv.org/pdf/2609.39827)项目页面 (https://huggingface.co/verify-ppt)GitHub0 (https://github.com/gucci-j/verify-ppt-at-scale)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2609.39827)

在你的 agent 中获取这篇论文：

hf papers read 2609.39827

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.39827，即可从本页面链接该模型。

引用此论文的数据集0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.39827，即可从本页面链接该数据集。

引用此论文的 Spaces0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.39827，即可从本页面链接该 Space。

包含此论文的合集1

相似文章

儿童规模语言模型中的专业化、多样性与规模扩展

arXiv cs.CL

研究训练小规模GPT-2模型于儿童日常语音转录（BabyView）和合成儿童导向对话（TinyDialogues）数据上，发现模型会显著特化于特定儿童的语言环境，多儿童数据能提升对混合留出语言的预测但对语法基准改进有限，表明小数据语言学习不仅取决于数据量，还取决于环境来源与匹配度。

不要过早停止长上下文持续预训练：一条经验缩放定律

arXiv cs.CL

该论文提出了一种经验性加法幂律，将长上下文持续预训练（LCCP）的收益与模型规模及短/长上下文token预算关联起来，并引入Constant-Last4协议实现稳定监控。实验表明LCCP的收益在评测范围内无明显饱和迹象，主张不应过早停止长上下文持续预训练。

@FinanceYF5: 大家都在吹百万token上下文，但Prime Intellect一位工程师说了句大实话： GPT-5.5在256k时检索准确率80%，拉到一百万直接掉到36%。模型不是装不下，是装进去了推理不动——所谓的context rot。 为什么更…

X AI KOLs Timeline

Prime Intellect工程师指出，大语言模型如GPT-5.5在百万token上下文时检索准确率从256k时的80%降至36%，表明存在“context rot”问题，即模型能容纳但无法有效推理长上下文，对Agent应用构成挑战。

如何使用平行数据进行多语言预训练

arXiv cs.CL

该论文提出了并行预训练（PPT），将文档及其译文拼接在同一个训练序列中，并发现，在相同的词元预算下，先进行 PPT、再进行标准预训练的两阶段方法，相比标准预训练，能够持续提升通用语言理解能力和跨语言表现。