最大化GRPO信号：针对困难推理问题的自适应轨迹前缀控制

# 针对困难推理问题的自适应前缀长度控制  
来源：https://arxiv.org/html/2607.07674  
###### 摘要  

群体相对策略优化（GRPO）在模型的最难问题上陷入停滞：当一个群体中没有一条生成序列成功时，群体相对优势消失，该问题不贡献梯度，从而浪费了我们最想学习的前沿示例。在参考解前添加一个正确前缀能够提高成功率，使得前缀长度成为一个连续的难度控制旋钮。现有方法一次性设定该旋钮；AdaPrefix-GRPO 将其变为一个反馈控制器：在整个训练过程中，它会根据每个问题调整需要提供多少解的前缀，将其成功率保持在约 50%（此时 GRPO 的梯度信号最大），然后完全移除辅助，使得部署后的模型无需辅助便能解决问题。在困难数学问题上，匹配训练 FLOPs 条件下，对于 0.6B 模型，它在训练分布内的保留问题上将 GRPO 的准确率提升至 2.1 倍以上，对 Qwen3-1.7B 提升 1.6 倍，对 AIME 提升 1.7 倍，同时序列长度大约减半。该方法只需在数据准备阶段实现，并在前缀 token 上应用损失掩码；其他训练器部分保持原样。模型越小，增益越大。

## 1 引言  

01122334455662020303040405050平台期：信号耗尽  
+17+17pp  
累积训练 FLOPs (×10^18)  
保留集 pass@1 (%)  
原始 GRPO  
AdaPrefix-GRPO (本方法)  
图 1：困难数学问题上，Qwen3-1.7B 的保留集 pass@1（无前缀）与累积训练 FLOPs 的关系。两种方法使用相同总训练预算（AdaPrefix-GRPO 的一次性标定和难度探测作为预处理成本已摊销，不包含在预算内）。在预算内，原始 GRPO 对数据完成一轮完整长度的生成，而 AdaPrefix-GRPO 完成约 2.1 轮更短的前缀式回合。曲线为 3 个种子的均值，在保留集的一个固定 250 题子集上评估；带状区域显示 95% 的题目级自助法置信区间。GRPO 一旦耗尽了它已经能部分解决的问题，便进入平台期；AdaPrefix-GRPO 则持续提取信号。  

基于可验证奖励的强化学习现已成为提升大型语言模型（LLM）在数学和代码等任务上推理能力的标准工具（Guo et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib1); Lambert et al., 2024 (https://arxiv.org/html/2607.07674#bib.bib15)）。在策略梯度方法（Schulman et al., 2017 (https://arxiv.org/html/2607.07674#bib.bib12); Ahmadian et al., 2024 (https://arxiv.org/html/2607.07674#bib.bib13)）和 RLHF（Ouyang et al., 2022 (https://arxiv.org/html/2607.07674#bib.bib14)）的基础上，当前的主流方法是同策略的：从当前策略采样一个包含 G 个生成序列的群体，用结果奖励对每个序列打分，并使用群体相对优势进行更新，如 GRPO（Shao et al., 2024 (https://arxiv.org/html/2607.07674#bib.bib2)）。该方法存在一个结构性盲点。当面对一个*困难*问题（模型几乎无法解决）时，所有 G 个生成序列都失败，每个奖励相同，群体相对优势恰好为零，该问题的梯度贡献也为零（Yu et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib16); Zhang et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib6)）。模型在这个问题上浪费了采样计算，却什么也学不到。更糟的是，这些问题往往是我们最想学习的：那些处于模型能力前沿的问题。

常见的补救措施绕开了这一问题，而非真正解决它。DAPO（Yu et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib16)）中的过采样和动态过滤会丢弃退化的全对/全错群体，但无法在模型完全没有正确解的情况下制造出一个正确生成序列。使用参考轨迹（或拒绝采样得到的轨迹，类似 STaR/RAFT 风格（Zelikman et al., 2022 (https://arxiv.org/html/2607.07674#bib.bib18); Dong et al., 2023 (https://arxiv.org/html/2607.07674#bib.bib19)））进行监督微调来预热强化学习，虽然注入了能力，但会导致熵坍缩并损害后续探索（Chu et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib20); Cui et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib21)）。一个自然的想法是暂时降低困难问题的难度，使其产生信号，然后再移除辅助。如果我们在解的前面添加一个正确*前缀*，并要求模型完成它，条件成功率会随着前缀长度增加而（经验上接近单调地）上升：没有前缀时模型几乎解决不了任何问题，而给定足够长的前缀则几乎能解决所有问题。因此，前缀长度是一个*连续的难度调节旋钮*，对于大多数可达的成功率 k/G，存在一个前缀长度可以达到该值。这一观察催生了一系列同期工作（Setlur et al., 2026 (https://arxiv.org/html/2607.07674#bib.bib3); Qu et al., 2026 (https://arxiv.org/html/2607.07674#bib.bib4); Huang et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib5)）。

本文要解决的核心问题是*应该瞄准什么成功率，以及如何达到它*，即如何最大化困难问题上的 GRPO 信号。现有方法为每个问题固定一小部分前缀长度，根据基座模型一次性选择，使得带条件的基座准确率“合理”（Setlur et al., 2026 (https://arxiv.org/html/2607.07674#bib.bib3)）。我们认为这样做会浪费大部分可用信号，原因有二。首先，GRPO 信号不仅仅因为非零而最大化；先前的研究已经表明存在一个*中间*最优的 k/G（约 50%），能最大化 RL 学习信号（Bae et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib8); Gao et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib9)）（见第 4.1 节 (https://arxiv.org/html/2607.07674#S4.SS1)）。其次，达到给定 k/G 所需的前缀长度是逐样本且非平稳的：随着训练过程中策略的改进，同样的前缀会产生更高的 k/G，导致问题漂移出有效训练区间。在一开始固定的计划无法追踪这种变化。

我们提出**AdaPrefix-GRPO**，它将前缀长度视为一个*闭环控制器*。在训练过程中，我们测量实际实现的批平均 k/G，并使用一个求根更新（割线法或二分搜索）调节单个全局基础前缀长度，使其趋近目标 k/G；每个样本在基础长度上叠加一个静态的、依赖于难度的偏移；所有前缀逐渐退火至零，使得部署时的策略在测试时永远不会看到前缀。该方法只需对 RL 训练器进行最小改动：前缀作为助理消息注入数据管道，在前缀上掩码梯度，奖励基于完整生成序列计算。我们在所有方法上保持总训练计算量（FLOPs）固定，因此改进不能归因于额外的训练计算；一次性标定是针对每个模型和数据集的预处理步骤，在同一模型和数据集上的所有运行中摊销，并排除在训练预算之外。

#### 贡献。

- • 我们将前缀长度构建为 GRPO 成功率 k/G 的*闭环控制器*，将一个不可控的观测变量变成一个可跟踪的设定点（全局闭环，带有逐样本难度偏移；第 4 节 (https://arxiv.org/html/2607.07674#S4)）。
- • 我们采用已有的中间（约 50%）解决率作为 RL 信号的设定点（Bae et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib8); Gao et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib9)），并通过前缀长度使其在整个批次中可达（第 4.1 节 (https://arxiv.org/html/2607.07674#S4.SS1)）。
- • 我们提出 AdaPrefix-GRPO：冷启动初始化，全局闭环调整基础前缀长度（带有逐样本难度偏移），并退火至零，完全在数据准备阶段实现，基于标准的 GRPO 训练器（第 4.2 节 (https://arxiv.org/html/2607.07674#S4.SS2)）。
- • 在匹配训练 FLOPs 的困难数学问题上，AdaPrefix-GRPO 在不降低 pass@16 的情况下，相比原始 GRPO 和固定前缀基线提升了 pass@1，且增益随模型缩小而增大（第 5 节 (https://arxiv.org/html/2607.07674#S5)）。

## 2 相关工作  

#### 群体相对强化学习中的盲区。

GRPO（Shao et al., 2024 (https://arxiv.org/html/2607.07674#bib.bib2)）及其变体通过在群体内部对奖励进行中心化来估计优势。当一个问题在群体中没有任何（或全部）生成序列成功时，中心化后的优势坍缩为零，该问题不产生梯度，即所谓的“学习悬崖”（Zhang et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib6)），DAPO 的动态过滤方法试图绕过这个问题（Yu et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib16)）。经典的探索补救措施（熵奖励、更宽松的裁剪、pass@k 目标）无法解决此问题，甚至可能破坏优化的稳定性（Qu et al., 2026 (https://arxiv.org/html/2607.07674#bib.bib4)）。

#### 前缀引导与提示引导强化学习。

最接近的是**PrefixRL**（Setlur et al., 2026 (https://arxiv.org/html/2607.07674#bib.bib3)）：它在同策略强化学习中以上一策略得到的正确轨迹（通过拒绝采样“复用”先前计算）的前缀为条件，在前缀上掩码梯度，并报告从带前缀问题到无前缀问题的*后向泛化*，但它对每个问题仅固定少量前缀长度，这些长度根据基座准确率一次性选择。**POPE**（Qu et al., 2026 (https://arxiv.org/html/2607.07674#bib.bib4)）使用能产生非零奖励的*最小*前缀；**Prefix-RFT**（Huang et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib5)）按照余弦调度退火一个单一的*全局*前缀；**Scaf-/Hint-GRPO**（Zhang et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib6); Huang et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib7)）在提示中提供分级提示；**R3**（Xi et al., 2024 (https://arxiv.org/html/2607.07674#bib.bib10)）将强化学习起始状态沿演示向后滑动，这是一种基于前缀位置的反向课程。这些方法将辅助视为固定的或全局的启发式手段。我们进一步表明，带来增益的是闭环控制，而非前缀本身（第 5.3 节 (https://arxiv.org/html/2607.07674#S5.SS3)）。离策略方法如 LUFFY（Yan et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib22)）和 ReLIFT（Ma et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib23)）将演示作为训练目标；类似于 PrefixRL，我们保持同策略，仅将解用于引导探索。

#### 难度课程。

按难度排序数据是经典做法（Bengio et al., 2009 (https://arxiv.org/html/2607.07674#bib.bib24); Kumar et al., 2010 (https://arxiv.org/html/2607.07674#bib.bib25)），近期的 RL 工作倾向于选择中间成功率的数据（Bae et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib8); Gao et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib9)）。与挑选已经位于合适难度的题目不同，我们将每个题目都移向目标难度，并随时间进行追踪。

## 3 预备知识：GRPO 与盲区  

对于一个问题 x 及其参考解和验证器 r(x, y) ∈ {0,1}，GRPO 采样一个包含 G 个生成序列的群体 y1, ..., yG ~ πθ(·|x)，并形成群体相对优势：

A_i = r(x, y_i) - (1/G) Σ_{j=1}^G r(x, y_j)。 (1)

我们使用这种*未归一化*的中心化优势（不除以群体标准差）。这一选择对第 4.1 节 (https://arxiv.org/html/2607.07674#S4.SS1) 很重要：标准差归一化*不会*改变设定点（正梯度的总质量仍在 k/G = 0.5 处达到峰值），但它会放大稀有的正确生成序列的*逐样本*优势，该优势与 √((1-p)/p) 成正比，并且当 p → 0 时发散。未归一化形式保持了良性的 p(1-p) 缩放，没有这种不稳定性。此外，在近期的实践中，未归一化优势与标准差归一化变体相比也具有竞争力（Liu et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib17)），因此这一偏离不会削弱基线。令 k = Σ_i r(x, y_i) 为正确生成序列的数量，则经验成功率为 k/G。如果 k=0（或 k=G），则所有 A_i=0，x 的梯度贡献消失。我们将 pass@G ≈ 0 的问题集合称为*盲区*：当成功概率恰好为零时，无论采样多少都无法提取信号；在有限采样下，接近零的概率产生的信号也微乎其微。在我们的困难子集上，这是常见情况：原始 GRPO 在 pass@16 下仅解决约 35% 的问题，在训练部分留下了显著的盲区；受控的前缀操作将其中很大一部分转化为可学习的问题。

#### 将前缀作为难度调节旋钮。

给定 x 的一个参考解 z = (z_1, ..., z_L)，比例为 ρ ∈ [0,1] 的*前缀*是 z_{1:⌈ρL⌉}，将其作为部分答案附加在提示前，模型需要继续生成。条件成功率 κ(ρ) = E[r(x,y) | y ~ π(·|x, z_{1:ρL})] 在经验上关于 ρ 接近单调（图 2 (https://arxiv.org/html/2607.07674#S4.F2)a），其中 κ(0) 是无条件成功率，κ(1) → 1；较长但部分不符合分布的前缀偶尔会失效，我们在第 5.4 节 (https://arxiv.org/html/2607.07674#S5.SS4) 中报告了这种违反率。我们并不要求严格的单调性：括号式（二分搜索）更新只需要 κ 在区间 [ρ⁻, ρ⁺] 内穿过 τ 一次，并且能容忍局部非单调性；当割线步条件不佳时，便回退到二分搜索。对于任何可达目标 τ ∈ (κ(0), 1)，存在一个 ρ* 使得 κ(ρ*) = τ；对于简单问题，κ(0) > τ 已经成立，因此控制器直接设置 ρ=0。梯度在前缀 token 上被掩码；奖励基于完整（前缀 + 生成）序列计算；评估时始终使用 ρ=0。

## 4 方法：AdaPrefix-GRPO  

### 4.1 中间设定点  

摆脱盲区只需要 k ≥ 1，但学习信号的*大小*取决于群体成功率 p = k/G 在 (0,1) 中的位置。关于 RL 数据选择的研究发现，经验上以及通过优化动力学的分析表明，一个*中间*解决率（通常在 50% 附近）能最大化每次更新的有用信号，而几乎总是解决或几乎从未解决的群体贡献很小（Bae et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib8); Gao et al., 2025 (https://arxiv.org/html/2607.07674#bib.bib9)）；经典的 RL 课程在 LLM 出现之前就已经瞄准了相同的中间成功区间（Florensa et al., 2018 (https://arxiv.org/html/2607.07674#bib.bib11)）。

两种直觉与这一经验最优值相符，且均基于我们所使用的未归一化优势（第 3 节 (https://arxiv.org/html/2607.07674#S3)）。首先，一个群体中的总正梯度与奖励的方差 p(1-p) 成正比，后者在 p=0.5 处达到峰值。其次，群体基线能够区分的对比（正确、错误）配对数量为 k(G-k)，在 k=G/2 时最大，在 p∈{0,1} 时为零，将盲区视为退化情况。这两种论证都不是严格的证明。该设定点对优势归一化方式具有鲁棒性（第 3 节 (https://arxiv.org/html/2607.07674#S3)），因此未归一化优势的选择不影响最优值的位置。第 5.3 节 (https://arxiv.org/html/2607.07674#S5.SS3) 中的经验目标扫掠才是实际的证据；奖励不