论文页面 - 模型如何改变想法：基于事后分歧定位的高效强化学习与可验证奖励

来源：https://huggingface.co/papers/2609.36864

摘要

基于群体相对方法的可验证奖励强化学习（RLVR）通过 rollout 结果的差异进行学习。独立采样完整轨迹成本高昂，且未明确探索关键位置的决策空间。对完整轨迹的反馈可能揭示策略重新考虑的早期选择，从而指出何处采样替代后续路径。我们提出事后分歧定位（HDL），利用事后诱导的 token 对数似然变化来选择分支点。HDL 生成少量完整根轨迹，并在原始任务上下文中从选定位置为每个训练组填充延续路径。每条延续路径重用其根前缀，仅通过新生成的后缀贡献策略更新，从而降低生成成本，同时将额外探索和学习聚焦于分支后的决策。

在数学、代码和智能体任务上的三个模型实验表明，HDL 在 rollout 效率和任务性能方面均有提升。与相同组大小和训练步数的 GRPO 相比，HDL 可减少多达 2.5 倍的生成 token 数，并将 rollout 挂钟时间加速 1.8 倍。尽管生成预算减少，HDL 在所有三个领域均提升了性能，智能体任务的增益高达 12.5 个百分点。

查看 arXiv 页面 (https://arxiv.org/abs/2609.36864) 查看 PDF (https://arxiv.org/pdf/2609.36864) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36864)

在智能体中获取本文：

hf papers read 2609.36864

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

暂无模型链接本文

在模型 README.md 中引用 arxiv.org/abs/2609.36864 以从此页链接。

引用本文的数据集 0

暂无数据集链接本文

在数据集 README.md 中引用 arxiv.org/abs/2609.36864 以从此页链接。

引用本文的 Space 0

暂无 Space 链接本文

在 Space README.md 中引用 arxiv.org/abs/2609.36864 以从此页链接。

包含本文的收藏 0

暂无收藏包含本文

将本文添加到收藏 (https://huggingface.co/new-collection) 以从此页链接。