智能体强化学习中数据如何扩展：规律与合成策略

来源：https://arxiv.org/html/2610.23946

Yankai Chen　关联机构：MBZUAI　关联机构：McGill University Xiaokun Zhang　关联机构：CityUHK Changjiang Han　关联机构：MBZUAI Ye Yuan　关联机构：McGill University Chong Li　关联机构：Columbia University Xue Liu　关联机构：MBZUAI　关联机构：McGill University

摘要

预训练扩展定律将训练数据视为一个一维量：token 数量。智能体强化学习（RL）继承了这种标量抽象，但现代合成流水线如今独立生成任务、环境和轨迹，且三者成本差异极大，使数据变成了一个结构化的设计空间。这引出了一个预训练从未需要回答的问题：给定合成预算，应该扩展哪个维度？我们通过三个紧密耦合的贡献端到端地回答了这个问题。

首先，我们将智能体数据分解为三个基数维度——任务、环境、轨迹——外加一个奖励密度控制变量，并在不同大语言模型（LLM）上、跨数学+代码、SWE、网页和 UI/工具应用领域拟合每个维度的扩展关系。在我们所测量的所有模型规模、模型家族、领域和 RL 算法（PPO 和 GRPO）中，扩展指数的排序为：环境 >> 任务 >> 轨迹。当环境多样性被分解为世界多样性和环境结构多样性时，前者的优势主要由前者驱动，而后者仅与任务多样性相当。

其次，我们将拟合得到的定律用作衡量合成方法的统一标尺，将每种方法的效率表示为每个维度上的折扣系数，并识别出训练开始崩溃的临界合成-真实数据比率；这些比率在不同维度之间相差一个数量级。

第三，我们在定律和折扣系数下将预算分配建模为约束优化问题，推导出 Chinchilla 风格的计算最优配方，并在留出的规模上进行验证。实验结果表明，遵循该配方可比主流的“扩展轨迹“做法获得高达 1.7× 的计算效率提升。

1 引言

现有的语言模型计算最优扩展定律通常将训练数据分布归约为单个标量——token 数量，典型的例子是 Chinchilla 扩展定律 [16 (https://arxiv.org/html/2610.23946#bib.bib2)] 及其前身框架 [19 (https://arxiv.org/html/2610.23946#bib.bib1)]。近期的智能体强化学习（RL）工作 [13 (https://arxiv.org/html/2610.23946#bib.bib8), 30 (https://arxiv.org/html/2610.23946#bib.bib10), 20 (https://arxiv.org/html/2610.23946#bib.bib9)] 继承了这种单轴抽象，将性能与 rollout token 数、提示数量或训练步数作图，仿佛它们可以互换。但智能体数据从根本上不同。一个“数据点“同时编码了任务规范、一个带有 API 接口和动态特性的环境、一条模型动作与工具反馈的采样轨迹，以及一个奖励信号，每一条都由不同的流水线以不同的成本生成。合成流水线放大了这种异质性：环境生成器 [50 (https://arxiv.org/html/2610.23946#bib.bib19), 4 (https://arxiv.org/html/2610.23946#bib.bib20), 14 (https://arxiv.org/html/2610.23946#bib.bib21)]、任务生成器 [36 (https://arxiv.org/html/2610.23946#bib.bib44), 59 (https://arxiv.org/html/2610.23946#bib.bib22)] 和轨迹生成器 [10 (https://arxiv.org/html/2610.23946#bib.bib25), 2 (https://arxiv.org/html/2610.23946#bib.bib24)] 作用于不同的维度，且以不同的速率饱和。标量抽象已悄然变得不再正确。

这种转变甚至改变了核心问题本身。借助现代合成工具，智能体数据在供应上实际上是无限的，因此从业者面对的问题不再是“我应该收集多少数据“，而是“我应该把合成预算花在哪里？“图 1 (https://arxiv.org/html/2610.23946#S1.F1) 使之变得具体：在 Qwen3-8B 上进行的两次训练，总 token 数和 FLOPs 完全相同，唯一的差别是预算在（任务、环境、轨迹）上的分配方式不同，最终达到的成功率相差 14 个百分点。单一维度的幂律无法同时拟合两者，这意味着瓶颈已从数量转移到分配。

然而，在当前的智能体 RL 流水线中，分配方式在很大程度上由惯例或便利性决定，而非基于对每个维度价值的定量评估。要对“在哪里合成“给出有原则的回答，需要三个概念步骤，每一步都为下一步奠定基础：(i) 将数据维度分解为独立的设计维度并分别测量；(ii) 根据合成方法将计算转化为“真实等效“数据的效率，在每个维度上对其进行定价；(iii) 在拟合的定律和折扣系数下求解预算分配的约束优化问题。这个顺序不可省略：没有每个维度的指数，就没有统一的单位来为合成方法定价；没有价格，优化就没有可最小化的目标。具体而言，我们论证在智能体 RL 中，合成将数据维度从标量转变为设计空间，而正确的扩展定律则将这个设计空间转化为可求解的优化问题。我们通过三个贡献来实例化这一论点，每个贡献都为下一个奠定基础：

• •**分解设计空间（第 4 节 (https://arxiv.org/html/2610.23946#S4)）。**我们将智能体数据分离为三个基数维度——任务、环境、轨迹——外加一个奖励密度控制变量，并在每个维度上拟合独立的扩展指数。在 Qwen3-4B/8B/14B、GRPO 和 PPO、五个领域以及另外两个模型家族（共二十一种设置）上，我们观察到一个稳健的排序：环境 α_E > 任务 α_T > 轨迹 α_τ；将环境维度进一步分解为世界多样性和环境结构多样性后，排序更加清晰：世界 α_W > 环境结构 α_V ≈ 任务 α_T > 轨迹 α_τ。

• •**对每个维度的合成进行定价（第 5 节 (https://arxiv.org/html/2610.23946#S5)）。**利用拟合的定律作为统一标尺，我们测量现有合成方法将计算转化为真实等效数据的效率，将其表示为每个维度上的折扣系数 κ ∈ [0, 1]，并识别出训练开始崩溃的临界合成-真实数据比率 r^⋆。我们发现 r_E^⋆ ≈ 9.4 ≫ r_T^⋆ ≈ 3.4 ≫ r_τ^⋆ ≈ 1.4，我们将这一排序从机制上与每个维度与外部真值的接地程度联系起来。

• •**求解分配问题（第 6 节 (https://arxiv.org/html/2610.23946#S6)）。**有了定律和折扣系数，“我应该合成什么“就变成了一个有可解方案的约束优化问题。我们推导出一个计算最优配方，指定了每个数据维度预算 D 和模型规模 N 应如何随总计算预算 C 扩展：D_E^⋆ ∝ C^0.34、D_T^⋆ ∝ C^0.27、D_τ^⋆ ∝ C^0.13、N^⋆ ∝ C^0.26，并在留出的计算规模上验证了所预测的分配。无论预算分配到生成数据还是构建新世界上，轨迹重采样总是排名最末。

这些贡献共同重新定义了智能体数据扩展的框架：瓶颈不在于数据的数量，而在于数据在结构化设计空间上的分配。

参考标题 图 1：相同的计算量，截然不同的结果。 在 Qwen3-8B 上进行的两次 GRPO 训练，总 rollout token 和梯度 FLOPs 完全相同，唯一的差别是数据预算在任务、环境、轨迹维度和奖励控制上的分配方式不同。左：在 AppWorld、ALFWorld、WebShop 和一个留出数学套件上的任务成功率。右：对应的预算分配饼图。

2 相关工作

**数据扩展定律。**在 LLM 预训练中，Kaplan et al. [19 (https://arxiv.org/html/2610.23946#bib.bib1)] 和 Hoffmann et al. [16 (https://arxiv.org/html/2610.23946#bib.bib2)] 建立了损失、参数量和 token 数之间的幂律关系，催生了计算最优训练；后续工作在推理约束 [38 (https://arxiv.org/html/2610.23946#bib.bib3)]、鲁棒性检验 [34 (https://arxiv.org/html/2610.23946#bib.bib4)] 和参数计数解释 [39 (https://arxiv.org/html/2610.23946#bib.bib5)] 下对这些定律进行了细化。在 LLM 的 RL 中，DeepSeek-R1 [13 (https://arxiv.org/html/2610.23946#bib.bib8)] 证明了纯 RL 配合可验证奖励可以扩展推理能力，ScaleRL [20 (https://arxiv.org/html/2610.23946#bib.bib9)] 表征了固定配方下的 RL 计算扩展，Mai et al. [30 (https://arxiv.org/html/2610.23946#bib.bib10)] 报告了 ZeroTIR 特定的“Agent RL Scaling Law“，Tan et al. [47 (https://arxiv.org/html/2610.23946#bib.bib11)] 对 RL 后训练扩展进行了实证研究。在两种场景中，数据都以单一维度进入：预训练中的 token，以及 RL 中的 rollout token 或唯一提示。我们没有添加一个新的全局维度，而是将数据维度本身分解为任务、环境和轨迹维度，并发现这种分解对于预测分配结果是必要的。

**智能体数据合成。**近期工作合成了智能体数据的单个维度：环境 [50 (https://arxiv.org/html/2610.23946#bib.bib19), 4 (https://arxiv.org/html/2610.23946#bib.bib20), 14 (https://arxiv.org/html/2610.23946#bib.bib21), 56 (https://arxiv.org/html/2610.23946#bib.bib23)]、任务 [36 (https://arxiv.org/html/2610.23946#bib.bib44), 59 (https://arxiv.org/html/2610.23946#bib.bib22), 48 (https://arxiv.org/html/2610.23946#bib.bib34)] 和轨迹 [10 (https://arxiv.org/html/2610.23946#bib.bib25), 2 (https://arxiv.org/html/2610.23946#bib.bib24), 57 (https://arxiv.org/html/2610.23946#bib.bib26), 22 (https://arxiv.org/html/2610.23946#bib.bib27)]。越来越多的工作记录了预训练中合成导致的质量退化，即模型崩溃 [46 (https://arxiv.org/html/2610.23946#bib.bib28), 41 (https://arxiv.org/html/2610.23946#bib.bib29), 9 (https://arxiv.org/html/2610.23946#bib.bib30), 7 (https://arxiv.org/html/2610.23946#bib.bib31), 54 (https://arxiv.org/html/2610.23946#bib.bib32)]。现有方法孤立地扩展所选维度；我们提供了一个在统一标尺上为它们定价的框架，发现它们的崩溃比率相差一个数量级。

**课程学习与无监督环境设计。**GenEnv [14 (https://arxiv.org/html/2610.23946#bib.bib21)]、自我演化课程 [3 (https://arxiv.org/html/2610.23946#bib.bib33)] 和难度对齐的任务生成 [36 (https://arxiv.org/html/2610.23946#bib.bib44), 56 (https://arxiv.org/html/2610.23946#bib.bib23)] 处理的是我们框架有意留待开放的问题：以什么顺序呈现给定维度上的数据？我们的分解在更高一层运作，询问每个维度应获得多少预算；课程学习在单个维度内运作，决定每个训练步采样哪个切片。两者是互补的：我们的配方指定每个维度的预算，课程方法可以随后调度该预算的消耗。

3 预备知识与设置

3.1 智能体 RL 与数据张量

策略 π_θ 在环境实例 e ∈ 𝒮_E 中、在任务 t ∈ 𝒮_T 上行动，产生轨迹 τ = (o₀, a₀, o₁, a₁, …, o_H)，其中 a_i 是工具或动作调用，o_i 是观测，包括环境反馈。奖励函数 ρ 分配 R(τ, t, e) = ρ(τ, t, e)。我们将训练语料定义为 𝒟 = (𝒮_T, 𝒮_E, {(t_i, e_i, τ_i)}_i=1ⁿ, ρ)，其中 𝒮_T 是训练任务的有限集，𝒮_E 是训练环境实例的有限集，每条轨迹 τ_i 关联一个任务-环境对 (t_i, e_i)。为后续使用，令 n_t,e = |{i : t_i = t, e_i = e}|，Ω = {(t, e) : n_t,e > 0}，其中 n_t,e 是为单元 (t, e) 收集的轨迹数，Ω 是已覆盖任务-环境单元的集合。数据张量诱导出三个基数维度和一个控制变量。

**(1) 任务维度 D_T：**唯一训练任务规范的数量，D_T = |𝒮_T|。任务规范通过句向量嵌入余弦距离 > 0.15 进行去重；五种替代规则，包括无嵌入方法，使 α_T 保持在 [0.238, 0.261] 内（附录 G (https://arxiv.org/html/2610.23946#A7)）。

**(2) 环境维度 D_E：**不同训练环境实例的数量，D_E = |𝒮_E|。环境结构实例通过其结构签名标识——在带类型的工具/API 接口、状态模式、转移语义和验证器接口上的规范化哈希；内容永远不会改变它，因此过程性种子仅在改变签名时才创建新实例。该签名是去重标准，并不意味着具有不同签名的两个实例构成不同的世界；底层世界的变化，即不同的仓库、语料库、应用或网站，单独报告为世界多样性 D_W（表 1 (https://arxiv.org/html/2610.23946#S3.T1)；附录 B (https://arxiv.org/html/2610.23946#A2)）。

**(3) 轨迹维度 D_τ：**每个已覆盖任务-环境单元的平均 rollout 数，D_τ = (1/|Ω|) Σ_(t,e)∈Ω n_t,e。增加 D_τ 对应于在已覆盖的任务-环境单元内进行重复采样，这是 GRPO [43 (https://arxiv.org/html/2610.23946#bib.bib7)] 中的标准做法。在均衡的全因子情况下，即每个 (t, e) ∈ 𝒮_T × 𝒮_E 具有相同数量的 rollout 时，这简化为 D_τ = n / (D_T D_E)。

**(4) 奖励控制变量 D_R：**奖励信号的信息密度，用作