论文页面 - CEPO: 使用对比证据策略优化的RLVR自蒸馏

来源：https://huggingface.co/papers/2605.19436

摘要

对比证据策略优化（CEPO）通过从被拒绝的轨迹（rejected rollouts）中提取的对比教学信号，来区分关键推理步骤与填充词元，从而改进带可验证奖励的强化学习（RLVR）。

当模型在RLVR（https://huggingface.co/papers?q=reinforcement%20learning%20with%20verifiable%20reward）下生成正确答案时，每个词元（token）都会收到相同的奖励信号，无论它是关键推理步骤还是语法填充词。一个自然的修复方法是让模型以正确答案作为教师，识别出如果它事先知道答案，会以不同方式生成的词元。但先前的工作表明，这要么将答案泄露到梯度中从而破坏训练，要么产生一个无法区分关键步骤与填充词的弱信号——因为两者相对于模型基线都显得同样意外。我们提出了对比证据策略优化（CEPO）（https://huggingface.co/papers?q=Contrastive%20Evidence%20Policy%20Optimization），它在每个词元处提出一个更精准的问题：不仅要问“正确答案是否倾向于这个词元？“，还要问“正确答案是否倾向于它，同时错误答案是否排斥它？“一个同时满足这两个条件的词元是真正的推理步骤；两个都不满足的则是填充词。错误答案教师由训练批次中已有的被拒绝轨迹（https://huggingface.co/papers?q=rejected%20rollouts）构建，不产生额外的采样成本。我们证明了CEPO继承了先前最先进方法的所有结构安全保证，同时严格增强了关键词元的信用分配，而在填充词位置上的改进恰好消失。实验上，在五个多模态数学推理（https://huggingface.co/papers?q=multimodal%20mathematical%20reasoning）基准测试中，2B和4B规模的CEPO分别实现了43.43%和60.56%的平均准确率，而GRPO在相同训练预算下分别为41.17%和57.43%。分布匹配自蒸馏方法（OPSD、SDPO）的表现低于未训练基线，这从实验上证实了我们理论预测的信息泄露。我们的代码开源在 https://github.com/ahmedheakl/CEPO。

查看arXiv页面（https://arxiv.org/abs/2605.19436） 查看PDF（https://arxiv.org/pdf/2605.19436） GitHub2（https://github.com/ahmedheakl/CEPO） 添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.19436）

在你的Agent中获取这篇论文：

hf papers read 2605.19436

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

没有模型链接此论文

请在模型README.md中引用arxiv.org/abs/2605.19436，以从该页面链接到它。

引用该论文的数据集0

没有数据集链接此论文

请在数据集README.md中引用arxiv.org/abs/2605.19436，以从该页面链接到它。

引用该论文的Spaces0

没有Space链接此论文

请在Space README.md中引用arxiv.org/abs/2605.19436，以从该页面链接到它。

包含该论文的收藏集0

没有收藏集包含此论文

请将这篇论文添加到一个收藏集（https://huggingface.co/new-collection）中，以从该页面链接到它。