@AhmedSQRD：如今，合成改写已成为提升数据质量以及在数据有限时的标准做法。但你该投入多少算力来进行改写呢？

合成重写如今已成为提升数据质量以及在数据有限时的标准手段。但到底应该在重写上投入多少计算资源？一个在重写数据上训练的模型能否超越执行重写任务的模型本身？

我们拟合了缩放定律来回答这两个问题：

1/🧵

我们拟合了一条重写缩放定律，涉及参数量 N、token 数 D 和重写比例 R——即训练混合数据中合成重写所占的比例，同时考虑了用于重写的计算开销。我们试图回答两个问题：

1. 最优重写比例是多少？它能否在更大规模下被准确预测？

2. 在重写数据上训练的模型能否超越重写模型？

2/🧵

在计算受限的场景下，我们假设自然数据充足但计算资源有限。我们拥有一份自然数据集和一份由现成重写模型生成的合成重写配对数据集，然后在从全合成到全自然文本的不同训练混合比例上训练 IsoFLOP 阶梯。

3/THREAD

在数据受限的场景下，我们则假设种子数据集有限但计算资源相对充足。为生成合成数据，我们用种子数据集训练一个自举重写模型一个epoch，并用一小批文档进行指令微调，使其遵循与计算高效场景相同的重写风格。然后我们训练 IsoFLOP 阶梯，在种子数据集上多轮训练与生成及在合成数据上训练之间进行权衡，以达到目标模型。

值得注意的是，在数据高效的场景中，合成数据是唯一的，但自然数据是重复使用的！因此我们用 epoch 预算 W 来衡量实验，这允许 FLOP 预算在 R=0 时对种子数据集进行 W 轮遍历，或随着 R 趋近于 1 逐步将更多计算用于生成和在合成数据上训练。

4/🧵

我们在两种场景中都使用 Fineweb-Edu 作为自然数据集，并在 Paloma 以及 Olmo-Eval 的数学、代码和问答基准上评估留出集损失。在计算受限场景中，我们通过 Finephrase 数据集使用 SmolLM2（训练于 1e23 FLOP）作为外部重写模型。我们在 11 个重写比例上进行 IsoFLOP 扫描，R 从 0 到 1 以 0.1 为步长，并在从 3e18 到 9e19 FLOP 的五种训练预算下进行，利用这些结果预测在 1e21 和 1e22 FLOP 下的最优留出集 R*。

5/🧵

对于数据高效场景，我们使用来自 Fineweb Edu 的 5B 种子数据集。然后我们固定模型大小，在该种子数据集上训练一个epoch，之后在 1000 篇由 GLM 5.2 生成的 finephrase 风格重写文档上进行 SFT（约 700 万 token）。

然后我们在 R=0 到 1 之间均匀分摊计算成本扫描五个区间，评估损失如何随计算量增加而变化。我们在 550M、837M、1B 和 3B 的模型规模上运行实验，同时固定重写模型和目标模型的能力。

6/🧵

在计算受限场景中，最优重写比例随计算量增长而提高：从 3×10¹⁸ FLOP 时不到 10% 上升到 10²² FLOP 时的 32%。随着目标模型变大，使用固定外部模型进行重写变得相对更划算。

我们将 FLOP 外推 33 倍至一个 22B 模型，并采用预测的 32% 混合比例。在 10²² FLOP 下，它在我们测试的四种混合比例中取得了最低的 Paloma 损失，与预测值的偏差在 1.1% 以内。

7/🧵

在数据受限场景中，我们发现最优 R 值同样随计算量增加。对于 3B 目标模型，最佳 R 从 epoch 预算 W=3 时的 0.13 上升到 W=24 时的 0.71——W 仍然是以对种子数据集遍历一次为单位来衡量计算量的。

通过拟合 W=18 之前的数据，该定律在留出的 W=21 和 W=24 上选择的混合比例，其实际 Paloma 损失在所有四种模型规模下均在最佳测试混合比例的 1.14% 以内。

8/🧵

目标模型能否超越重写模型？在计算受限场景中，我们的 32% 混合比例在 16 个 Paloma 来源中的 10 个上超过了 SmolLM2，而计算量仅约为 SmolLM2 预训练计算量的十分之一。其整体 Paloma 损失仍略高：0.983 vs 0.972 BPB。

在数据受限场景中，混合数据在 3B 及以下的所有规模上都超过了最佳的纯自然数据运行，即使重写模型与目标模型规模相同且能力更弱。这一点尤其令我惊讶，因为它暗示了远小于前沿规模的模型在预训练阶段实现“自我提升“的可能性！

9/🧵

我们还发现最佳混合比例取决于领域。在计算受限场景中，数学和代码在我们的缩放阶梯范围内倾向于 100% 重写数据，而拟合出的最优值在问答上接近 77%，在 Paloma 上接近 32%。

在 10²² FLOP 下，与纯自然数据训练相比，全重写训练将数学 BPB 从 1.33 降至 0.80，代码 BPB 从 1.04 降至 0.53。

10/🧵

领域差异在数据受限场景中同样存在。对于 3B 目标模型，混合数据在每个预算下都优于最佳纯自然数据运行，在数学和代码上分别高出 0.34 和 0.31 BPB（W=24 时）。然而在问答上，W>6 后纯自然数据反而更优。

11/🧵

我们的工作当然有一些局限性：我们的主要实验在 FineWeb-Edu 上进行。当与像 DCLM 这样的“更高质量“数据集比较时（右图以计算效率衡量），你可能会预期合成重写的作用会减小，而我们也确实发现了这一点——最优 R 值更低（左图）。

我们还将重写风格限定在 FinePhrase 中被认定为计算最优的四种（MATH 风格、FAQ 风格、Table 风格、Tutorial 风格重写），并且在计算受限场景中只评估了一个外部重写模型。

12/🧵

以上就是全部内容！很荣幸能与 @nick11roberts 共同主导这项研究。

Nick 和我非常感谢与 Jane Street 以及我们的导师 Yu Wang、@alex_renda_ 和 Nitya Mani 一起完成这项工作！同时也要感谢 @kothasuhas 和 @percyliang 的合作！

更多细节请阅读论文 :)

论文：https://arxiv.org/abs/2610.31867

模型检查点：https://huggingface.co/jane-street-internship-org/rewriting-scaling-laws/tree/main…

13/🧵

（P.S. 我也在找工作机会，如果你觉得这项工作相关的话请随时联系我 :)）