论文页面 - 超越熵：通过对比策略优化实现正确性感知的优势塑形

来源：https://huggingface.co/papers/2607.14614

摘要

基于可验证奖励的强化学习（RLVR）通常使用熵进行优势塑形。然而，熵无法区分有益的不确定性与有害的混淆，限制了其作为正确性信号的有效性。我们提出对比策略优化（CPO），该方法利用参考引导分布与普通生成分布在词元层面的对比分歧，进行正确性感知的优势塑形。理论和实验结果均表明，这种分歧能可靠地指示词元级别的正确性。我们进一步证明，在线蒸馏是CPO的一个特例，其中后验分布由外部教师模型实例化。CPO同时还解决了零优势问题。在域内和域外基准测试上的实验表明，CPO在保持强大泛化能力的同时，显著优于基于熵的RLVR方法。进一步分析显示，正确和错误的回答分别自然支持探索和利用，而平衡两者可带来最佳性能。

查看 arXiv 页面 (https://arxiv.org/abs/2607.14614)查看 PDF (https://arxiv.org/pdf/2607.14614)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.14614)

在您的智能体中获取此论文：

hf papers read 2607.14614

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接到此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.14614 以在此页链接该论文。

引用此论文的数据集0

没有数据集链接到此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.14614 以在此页链接该论文。

引用此论文的 Space0

没有 Space 链接到此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.14614 以在此页链接该论文。

包含此论文的收藏集0

没有包含此论文的收藏集

请将此论文添加到收藏集 (https://huggingface.co/new-collection) 以在此页链接该论文。