论文页面 - 通过自蒸馏增强基于Rubric的强化学习

Source: https://huggingface.co/papers/2607.18082

摘要

基于Rubric的强化学习近期在改善LLM在开放式任务上的表现方面展现出前景。其一个广泛公认的局限性是探索不足：没有任何轨迹能够满足的标准（Unexplored Criteria, UC）无法获得优化信号。近期方法通过将Rubric信息作为外部指导纳入轨迹生成过程来解决这一问题，但它们引入了训练-推理不匹配：策略是在外部指导生成的轨迹上优化的，而推理时该指导并不存在，导致自回归解码过程中错误累积。此外，这些以探索为中心的方法忽略了一种根本不同的失败模式，我们称之为抑制标准（Suppressed Criteria, SC）——即某些轨迹满足这些标准，但优化过程中其学习信号因标量奖励聚合为其分配非正总优势而丢失。我们的分析揭示SC极为普遍：超过57%的样本在整个训练过程中表现出这种失败模式，平均每个样本有1.8个SC。为了同时解决UC和SC且不引入训练-推理不匹配，我们提出标准蒸馏策略优化（CriPO），通过同策略自蒸馏增强基于Rubric的强化学习。针对UC，CriPO构建一个标准注入自教师，并计算局部前向KL散度损失，将缺失行为注入策略。针对SC，CriPO采用反事实自教师定位负优势轨迹中与标准相关的token，并将其token级优势翻转为正值，从而保留原本会被抑制的有用模式。在医学和科学基准上的实验表明，CriPO始终优于基于Rubric的强化学习，以大约一半的优化步数取得更强的最终性能。

查看 arXiv 页面 (https://arxiv.org/abs/2607.18082) 查看 PDF (https://arxiv.org/pdf/2607.18082) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.18082)

在您的agent中获取此论文：

hf papers read 2607\.18082

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2607.18082 以从本页链接到它。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.18082 以从本页链接到它。

引用此论文的Spaces0

没有Space链接到此论文

在Space README.md 中引用 arxiv.org/abs/2607.18082 以从本页链接到它。

包含此论文的收藏0

没有包含此论文的收藏

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从本页链接到它。