https://arxiv.org/pdf/2607.18082 这里是 CriPO，字节跳动的一项非常出色的工作，可能带来令人瞩目的成果。它将 GRPO 和 OPSD 结合起来用于基于评分标准的（rubric-based）学习，取得了巨大成功。核心思想源于这两种方法都展现出潜力：GRPO 在评分标准学习上表现出色，但存在 rollout 随机性的问题，导致某些评分标准被排除在外……而这正是 OPSD 可以补救的地方。主要观点是，你需要面对两类标准问题：

• 未探索的标准（Unexplored Criteria）：没有 rollout 满足的标准。
• 被压制的标准（Suppressed Criteria）：已满足的标准，但对应的 rollout 优势（advantage）没有给予它们应有的价值（即优势为负或为零，且同一 rollout 组中表现良好的 rollout 不足一半）。

这两类问题截然不同，实际上需要两种不同的干预措施，从而证明同时使用 OPSD 和 GRPO 的合理性：

• 对于前者（未探索的），主要思路是采用 OPSD。但他们具体使用的是由标准辅助的老师的逐词前向 KL 散度，将其插入到学生的回答中，用于筛选出贡献了 X% KL 散度的最少 token，即那些能显著表达标准的 token。OPSD 损失就是在这些 token 上计算的。
• 对于后者（被压制的），问题出在优势计算上。因此，他们让老师模型阅读学生的回答，并要求其在标准范围内进行修订。然后，他们评估老师和学生在回答 token 上的 logits 差异。对于那些被降权处理或老师更倾向于替代 token 的位置，rollout 的优势会被专门修改为一个正值的超参数（此处为 0.1）。接着，对 rollout 的所有 token 执行逐词 GRPO 计算。之后，GRPO 和 OPSD 损失求和，用一个超参数控制 OPSD 损失的影响力。

结果非常有利于这种方法。它在性能上远超 OPSD，并在更少的计算时间内达到 GRPO 的水平。最终结果略优于 GRPO，但优势足够显著。消融实验也证实了他们的选择。但当你深入思考……我并不认为自蒸馏（self-distillation）本身是关键。尽管它计算高效，但作者完全可以后续采用 OPD（Online Policy Distillation），只要在同一模型家族内，OPD 的操作几何与纯 RL 不同，且更少受 OPSD 稳定性问题的影响。是否值得一试？不过无论如何，这个想法对于标准学习来说非常出色，并且在训练流程中具有很大的稳定潜力。

通过自蒸馏增强基于评分标准的强化学习

来源: https://arxiv.org/html/2607.18082

Mingxuan Xia1,2 Yuhang Yang1,2¹ Chao Ye2 Shuai Zhu2 Shenzhi Yang1 Guangcheng Zhu1 Yuhang Zhang2 Cheng Peng1 Haobo Wang1 Siqing Wang2² 1浙江大学 2字节跳动 {xiamingxuan, yangyuhang, wanghaobo}@zju.edu.cn [email protected]

摘要

基于评分标准的强化学习（Rubric-based RL）近年来在提升大语言模型（LLMs）在开放式任务上的表现方面展现了潜力。一个广泛认知的局限是探索不足：没有 rollout 能够满足的标准（未探索标准）无法获得优化信号。近期的方法通过在 rollout 生成过程中引入标准信息作为外部指导来解决这一问题，但这引入了训练-推理不一致性：策略在外部指导下生成的 rollout 上进行优化，而推理时该指导不存在，导致自回归解码过程中的错误累积。此外，这些专注于探索的方法忽略了一个根本不同的失败模式，我们称之为被压制的标准——某些标准被一些 rollout 满足，但其学习信号在优化过程中丢失，因为标量奖励聚合机制赋予了它们非正的整体优势。我们的分析显示，被压制的标准非常普遍：在训练过程中，超过 57% 的样本存在这种失败模式，平均每个样本有 1.8 个被压制的标准。为了同时解决未探索和被压制的标准，且不引入训练-推理不一致，我们提出了基于标准的蒸馏策略优化（CriPO），通过在线策略自蒸馏来增强基于评分标准的 RL。对于未探索的标准，CriPO 构建了一个标准注入型自我教师，并计算局部前向 KL 散度损失，将缺失的行为注入策略。对于被压制的标准，CriPO 采用反事实自我教师，在负优势 rollout 中定位与标准相关的 token，并将其词级优势转为正值，从而保留否则会被压制的有用模式。在医学和科学基准上的实验表明，CriPO 持续优于基于评分标准的 RL，在大约 2× 更少的优化步骤下实现更强的最终性能。

1 引言

近年来，基于可验证奖励的强化学习（RLVR），由 GRPO（Shao 等人，2024）等方法实践，已成为提升大语言模型推理能力的重要范式（DeepSeek-AI，2025；Cui 等人，2026）。RLVR 在可验证领域（如数学推理和代码生成）取得了显著成功，其中精确答案或可执行测试用例提供了稳定可靠的监督信号（He 等人，2024；Wei 等人，2025）。然而，在医疗咨询、长篇写作等开放式场景中，模型输出通常没有唯一的标准答案，且难以通过确定性规则进行验证。为了将 RLVR 扩展到此类领域，近期工作探索了基于评分标准的奖励，即将响应质量分解为可解释的评估标准，使用“LLM 作为评判者”（Gu 等人，2024a）分配多维度分数，并将其聚合为标量奖励进行 RL 训练（Gunjal 等人，2025；Viswanathan 等人，2025；Liu 等人，2026a）。尽管基于评分标准的 RL 在这些开放式领域展现了令人鼓舞的结果，但它仍面临探索不足的根本性挑战：由于 GRPO 仅针对采样 rollout 组中出现的行为进行优化（Yue 等人，2025；Nguyen 等人，2025），因此没有任何 rollout 能满足的标准（被称为未探索标准）无法获得有效的优化信号。近期的方法通过在 rollout 生成期间使用评分标准作为外部指导来解决这一问题。例如，RuscaRL（Zhou 等人，2025）使用评分标准作为显式脚手架来引出更多样且更高质量的 rollout，而 HeRL（Zhang 等人，2026）利用失败的轨迹及其未满足的标准作为事后指导来生成修订后的 rollout。然而，这些增强探索的方法仍有两个重要缺陷。首先，它们引入了训练-推理不一致：训练时，rollout 是在特权信息下生成的，因此每个 token 都在外部指导前缀下进行优化；而推理时，模型必须完全依靠自身前缀生成。这种差异构成了暴露偏差（Agarwal 等人，2024；Song 和 Zheng，2026；Li 等人，2026b），即指导训练中可以避免的早期生成错误可能会通过随后的自回归解码传播。对于开放式任务，这种错误累积尤其成问题，因为长响应放大了这种不匹配。其次，这些方法忽略了另一个根本不同的失败模式：被压制的标准——已经被探索但学习信号在 GRPO 优化过程中系统性丢失的标准。这是因为 GRPO 将标准级分数聚合成单个标量奖励，并统一广播到整个响应。因此，满足某些标准但在其他标准上表现不佳的 rollout 会得到负值或可忽略的整体优势，导致有用的满足标准的行为被惩罚或忽略，而不是被强化。例如，在图 1 中，(y_2) 和 (y_3) 满足标准 C3，但它们的优势总和为负（-0.46）。我们在图 1 中的统计分析表明，这种被压制的标准在实践中普遍存在：当在 RaR-Medicine 上训练 Qwen3-4B 时，训练过程中超过 57% 的样本包含被压制的标准，平均每个样本有 1.8 个此类标准。虽然一些先前的工作（Chen 等人，2026；Lan，2026；Xu 等人，2026）也认识到标量奖励聚合会模糊单个标准的贡献，但它们没有系统分析标准级信号何时以及为何丢失，也未能解决未探索标准的互补挑战。

（请参阅标题）

图 1：左图：GRPO 中的两种失败模式：未探索标准（UC），即组中没有 rollout 满足的标准（例如 C4），以及被压制的标准（SC），即满足标准的 rollout 获得非正的整体优势（例如 C3）。右图：在 RaR-Medicine 上训练 Qwen3-4B 时，含有 UC/SC 的样本比例以及每个样本的平均 UC/SC 数量，显示 UC 和 SC 在实践中都很普遍且持续存在。

为了同时解决未探索和被压制的标准，且不引入离线策略不匹配，在本文中，我们提出基于标准的蒸馏策略优化（CriPO），通过在线策略自蒸馏（OPSD）（Zhao 等人，2026；Hübotter 等人，2026；Ye 等人，2026）来增强基于评分标准的 RL。与那些在特权信息下生成 rollout 以注入知识或行为的方法不同，OPSD 构建了一个特权条件化自我教师，并在模型自身的在线策略 rollout 上提供词级监督，从而在不产生训练与推理分布差异的情况下获取学习信号。具体来说，对于未探索的标准，CriPO 构建了一个标准注入型自我教师，并计算前向 KL 散度作为辅助损失，将缺失的标准特定行为注入策略。对于被压制的标准，CriPO 同样利用 OPSD 范式，构建一个反事实自我教师，在负优势 rollout 中定位与标准相关的 token，并在局部将其优势翻转为正值，从而保留有用的模式，而不是被压制。这两种干预措施共同构成了我们的框架，在一个统一的在线策略训练范式中联合解决了未探索和被压制的标准。请注意，我们采用 GRPO 作为优化主干，而不是单独使用 OPSD，因为单独应用 OPSD 无法实现稳定性能（参见第 2 节讨论）。在医学和科学基准上的实验证明了 CriPO 的有效性和效率。对于 Qwen3-1.7B 和 Qwen3-4B，CriPO 在域内和跨域设置中均持续优于 GRPO、HeRL 和 OPSD，在 Qwen3-1.7B 上比 GRPO 平均高出 +3.2。此外，CriPO 提高了优化效率，大约以 2× 更少的步骤达到 GRPO 的收敛性能。

2 预备知识

基于评分标准的强化学习（RL）。

我们采用组相对策略优化（GRPO）（Shao 等人，2024）作为核心 RL 算法，使用基于评分标准的奖励来训练 LLM。给定一个提示 (x)，策略 (\pi_\theta) 采样一组在线策略 rollout ({y_i}{i=1}^G)，其中 (y_i \sim \pi\theta(\cdot \mid x))。在基于评分标准的 RL 中，每个 rollout 都通过一组标准 (\mathcal{C}={(c_j,\omega_j)}{j=1}^M) 进行评估，其中 (c_j) 表示评估标准，(\omega_j) 是其重要性权重。一个评判模型为每个 rollout 分配标准级分数 (r{ij}=c_j(x,y_i))，表示 rollout (y_i) 满足标准 (c_j) 的程度。这些标准级分数然后被聚合成标量奖励： [ R_i = \frac{\sum_{j=1}^M \omega_j r_{ij}}{\sum_{j=1}^M \omega_j}, \tag{1} ] GRPO 随后通过标准化组内奖励来计算组相对优势：(A_i = (R_i - \mu_R)/(\sigma_R + \epsilon))，其中 (\mu_R) 和 (\sigma_R) 是组奖励的均值和标准差，(\epsilon > 0) 防止除零。策略模型使用 PPO 风格（Schulman 等人，2017）的裁剪代理目标进行优化： [ \mathcal{L}{\mathrm{GRPO}} = -\mathbb{E}{x,{y_i}{i=1}^G \sim \pi{\theta_{\mathrm{old}}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \min!\left( \rho_{i,t} A_i, \mathrm{clip}\left( \rho_{i,t}, 1-\epsilon_{\mathrm{clip}}, 1+\epsilon_{\mathrm{clip}} \right) A_i \right) \right], \tag{2} ] 其中 (\rho_{i,t} = \pi_\theta(y_{i,t} \mid x, y_{i,<t}) / \pi_{\theta_{\mathrm{old}}}(y_{i,t} \mid x, y_{i,<t}))。…（原文中公式在此处中断，翻译保留状态）