论文页面 - 基于可验证奖励的在线蒸馏

来源：https://huggingface.co/papers/2608.24696

摘要

OPDVR 通过基于轨迹正确性的隐式奖励重构和 ReLU 门控机制，将在线蒸馏与可验证奖励相结合，在无需引入额外超参数的情况下提升了模型的推理性能。

基于可验证奖励的强化学习（RLVR）与在线蒸馏已成为大语言模型后训练的两大主流范式。然而，RLVR 存在任务级反馈稀疏的问题，而在线蒸馏虽能提供密集的词元级指导，却忽略了轨迹正确性，其性能上限受限于教师模型。将两者结合是一个有前景的方向：在线蒸馏提供密集监督信号，RLVR 提供任务级正确性验证。然而，现有集成方法多依赖加权组合或启发式切换，需引入额外超参数并面临权衡问题。

我们提出基于可验证奖励的在线蒸馏，这是一种简单有效的方法，无需增加任何超参数即可无缝融合在线蒸馏与 RLVR。首先，我们基于轨迹正确性重构采样词元在线蒸馏的隐式奖励，随后应用 ReLU 门控机制：确保正确轨迹获得非负奖励，错误轨迹获得非正奖励，从而使蒸馏信号与任务成功度对齐，同时保留教师模型的分布指导。此外，该改进将采样词元在线蒸馏转化为标准的 RLVR 方法，使其可与任何策略梯度算法（如 GRPO）直接结合。

在六个推理基准上的实验表明，OPDVR 的性能始终优于标准在线蒸馏。代码开源地址：https://github.com/LeapLabTHU/OPDVR。

查看 arXiv 页面 (https://arxiv.org/abs/2608.24696) 查看 PDF (https://arxiv.org/pdf/2608.24696) GitHub (https://github.com/LeapLabTHU/OPDVR) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.24696)

在智能体中获取本文：

hf papers read 2608.24696

未安装最新 CLI？请执行：curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2608.24696 即可从本页链接。

引用本文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.24696 即可从本页链接。

引用本文的空间 0

暂无空间关联此论文

在空间 README.md 中引用 arxiv.org/abs/2608.24696 即可从本页链接。

包含本文的合集 0

暂无合集收录此论文

将本文添加至合集 (https://huggingface.co/new-collection) 即可从本页链接。