Tag
研究系统评估了合成数据预预训练（PPT）在 500M 到 7B 参数、最高 100B token 预训练预算下的表现，发现 PPT 的 token 效率增益在大规模下依然存在，但这些增益并非来自先前假设的语法先验，而是源于提升长程检索能力的 PPT 任务。