CVPO：通过值方差适应与动态课程学习增强LLM强化学习推理

arXiv cs.CL 论文
reinforcement-learning llm curriculum-learning value-variance reasoning

摘要

这篇arXiv论文介绍了CVPO，一种针对LLM的强化学习方法，它适应值方差以进行优势估计，并使用动态课程学习来匹配问题难度，在数学任务上取得了比VAPO更好的推理性能。

arXiv:2608.03068v1 公告类型：新 摘要：强化学习（RL）已成为增强大型语言模型（LLM）推理能力的有效方法。然而，现有方法在生成答案轨迹的反馈上精度不足，并表现出问题难度漂移的现象。为解决这些挑战，我们提出了CVPO——课程引导的值方差策略优化（Curriculum-guided Value-Variance Policy Optimization）。在响应轨迹层面，我们发现词元级的值方差与探索强度相关。我们的理论分析表明，该方差限制了策略更新的幅度。然后，我们使用估计的轨迹值方差来量化生成过程中的内在随机性。基于此，我们设计了一种方差感知的优势调整机制，适用于不同奖励类型。在问题层面，我们引入了一种自适应问题难度的动态课程加权方法。这有助于模型在每个训练阶段专注于与其当前能力相匹配的任务。实验结果表明，我们的方法优于VAPO等强基线的基于值的方法。它在各种数学任务上取得了更好的性能和更强的探索能力，使语言模型能够进行更准确和稳健的推理。
查看原文
查看缓存全文

缓存时间: 2026/08/05 07:43 

# CVPO：通过值方差自适应和动态课程学习增强LLM强化学习推理
Source: https://arxiv.org/html/2608.03068
Ziqi Jia1,2,◆\\blacklozenge,Yalu Ouyang1,3,◆\\blacklozenge,Bo Pang1,Panpan Li1, Hangfei Xu1,Shengzhao Wen1,Shiyong Li1,Yanpeng Wang1, 1AI Cloud Group, Baidu,2Tsinghua University,3University of California, San Diego Correspondence:jzq\_2022@163\.com (https://arxiv.org/html/2608.03068v1/mailto:[email protected])

###### 摘要

近年来，强化学习（RL）已成为增强大型语言模型（LLMs）推理能力的有效方法。然而，现有方法在生成答案轨迹的反馈精度上存在不足，并表现出问题难度漂移的现象。为了解决这些挑战，我们提出了CVPO——课程引导的值方差策略优化（Curriculum-guided Value-Variance Policy Optimization）。在响应轨迹层面，我们发现token级值方差与探索强度相关。我们的理论分析表明，该方差限制了策略更新的幅度。然后，我们使用估计的轨迹值方差来量化生成过程中的内在随机性。基于此，我们针对不同奖励类型设计了一种方差感知的优势调整机制。在问题层面，我们引入了一种动态课程加权方法，以适应问题难度。这有助于模型在每个训练阶段专注于与其当前能力相匹配的任务。实验结果表明，我们的方法优于VAPO等强基于值的方法。它在各种数学任务中实现了更好的性能和更强的探索性，使语言模型能够进行更准确和稳健的推理。

## 1 引言

近年来，基于强化学习的推理模型在解决高难度数学推理任务方面取得了显著性能突破，为解决复杂逻辑问题提供了一种新方法[Ahmadianet al.\(2024 (https://arxiv.org/html/2608.03068#bib.bib16)\); Hu \(2025 (https://arxiv.org/html/2608.03068#bib.bib17)\); Teamet al.\(2025 (https://arxiv.org/html/2608.03068#bib.bib18)\); DeepSeek\-AIet al.\(2024 (https://arxiv.org/html/2608.03068#bib.bib19)\); Chenet al.\(2025a (https://arxiv.org/html/2608.03068#bib.bib23)\); Suet al.\(2025 (https://arxiv.org/html/2608.03068#bib.bib25)\); Chenet al.\(2025b (https://arxiv.org/html/2608.03068#bib.bib28)\); Richemondet al.\(2024 (https://arxiv.org/html/2608.03068#bib.bib29)\)]。其中，以GRPO[Shaoet al.\(2024 (https://arxiv.org/html/2608.03068#bib.bib12)\)]为代表的免值模型方法通过将组内多条轨迹的奖励平均来计算优势值，在相关任务中取得了开创性进展。然而，后续关于VAPO[Yueet al.\(2025 (https://arxiv.org/html/2608.03068#bib.bib14)\)]等基于值的算法的研究进一步揭示，训练良好的值模型能够实现更准确的信用分配，其性能上限显著高于GRPO等免值模型方法，为该领域的发展指出了更有前景的方向。

11footnotetext:在百度实习期间完成

尽管如此，当前基于值的方法仍有两个需要解决的关键瓶颈。首先，对生成答案轨迹的反馈精度不足[Prabhudesaiet al.\(2025 (https://arxiv.org/html/2608.03068#bib.bib24)\); Shaoet al.\(2025 (https://arxiv.org/html/2608.03068#bib.bib27)\)]。当轨迹呈现同质化结果（全对或全错）时，现有机制缺乏用于差异化学习的精细梯度信号，这直接削弱了学习梯度的可区分性，最终限制了模型性能的进一步提升。其次，训练过程中普遍存在“难度漂移”现象[Quet al.\(2025 (https://arxiv.org/html/2608.03068#bib.bib20)\); Parasharet al.\(2025 (https://arxiv.org/html/2608.03068#bib.bib21)\); Shiet al.\(2025 (https://arxiv.org/html/2608.03068#bib.bib22)\)]：随着训练步数的累积，模型能力持续提升，导致问题的相对难度发生动态变化——原本高难度的问题逐渐转变为中低难度问题。在这种情况下，如果仍然使用固定权重策略对所有问题进行无差别训练，不仅会降低整体训练效率，而且由于对高难度问题关注不足，还会限制模型的推理上限。

为了解决这些挑战

相似文章

RL用于LLM的价值梯度假说

arXiv cs.LG

本文提出了价值梯度假说，用以解释为何像PPO和GRPO这类无评论家（critic-free）的RL方法在LLM上表现良好，揭示了演员网络的反向传播携带了类似价值梯度的信号。本文还推导出一个预测性准则，用于判断在预训练轨迹中何时RL最为有效。

向量策略优化：面向多样性的训练提升测试时搜索性能

Reddit r/LocalLLaMA

本文介绍了一种名为向量策略优化（Vector Policy Optimization, VPO）的强化学习算法，该算法通过优化多个奖励维度来训练大语言模型生成多样化的解决方案，与标量强化学习基线相比，显著提升了测试时搜索性能。