ReSPO：面向离策略学习梯度饥饿问题的重塑序列策略优化

Hugging Face Daily Papers 论文
reinforcement-learning rlvr off-policy-optimization policy-gradient reasoning qwen3

摘要

ReSPO 提出一种重塑的序列策略优化方法，用平滑的双分支 α-散度核替代裁剪机制，解决 RLVR 中离策略学习的梯度饥饿问题，并在 Qwen3 密集与 MoE 模型上验证了更优的训练分数和基准性能。

基于可验证奖励的强化学习（RLVR）经常在多次策略更新中重复使用 rollout 数据，导致当前策略与数据生成策略之间的不匹配加剧。我们发现在裁剪式策略优化中存在一种符号相关的梯度饥饿问题：在低重要性权重尾部，裁剪会抑制生成不足的正向响应，而在高权重尾部，又允许严重过生成的负向响应占据主导地位。为此，我们提出 ReSPO（重塑序列策略优化），它以一个平滑的双分支序列级核替代裁剪机制，该核源于 α-散度变分目标和指数方差控制倾斜项。正向分支为生成不足的正向响应保留非零梯度权重，而负向分支则抑制严重过生成的负向响应。我们证明，即使累积的策略漂移将这些数据挤入低重要性权重尾部，ReSPO 仍能在训练早期有效地从长正向推理轨迹中学习。在密集模型和 MoE 模型的 Qwen3 上，ReSPO 加速了早期优化过程，提升了最终训练分数，并在 rollout 重复使用条件下取得了更高的留出基准性能，从而验证了我们在离策略学习中对重要性权重尾部进行控制的方法。
查看原文
查看缓存全文

缓存时间: 2026/10/09 06:21

论文页面 - ReSPO：面向离策略学习中梯度饥饿问题的重塑序列策略优化

来源：https://huggingface.co/papers/2609.35433

摘要

基于可验证奖励的强化学习（RLVR）经常在多次策略更新中重复使用 rollout，从而增大当前策略与数据生成策略之间的不匹配程度。我们发现裁剪式策略优化中存在一个与符号相关的梯度饥饿问题：裁剪会在低重要性权重尾部抑制生成不足的正样本响应，却允许严重过生成的负样本响应在高权重尾部占据主导地位。为解决这一问题，我们提出 ReSPO（Reshaped Sequence Policy Optimization，重塑序列策略优化），它用一个平滑的双分支序列级核来替代裁剪，该核由 α-散度变分目标和指数方差控制倾斜项推导得出。正分支为生成不足的正样本响应保留非零梯度权重，而负分支则抑制严重过生成的负样本响应。我们证明，ReSPO 能够在训练早期有效地从长正样本推理轨迹中学习，即使累积的策略漂移将这些轨迹推入低重要性权重尾部也是如此。在 Dense 和 MoE 架构的 Qwen3 模型上，ReSPO 加速了早期优化过程，提升了最终训练得分，并在 rollout 复用的设置下取得了更高的保留集基准性能，从而在离策略学习的重要性权重尾部控制方面验证了我们方法的有效性。

查看 arXiv 页面 (https://arxiv.org/abs/2609.35433) 查看 PDF (https://arxiv.org/pdf/2609.35433) 项目页面 (https://yhangchen.github.io/ReSPO/) GitHub 仓库 (https://github.com/yhangchen/ReSPO-code) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.35433)

在你的 agent 中获取这篇论文：

hf papers read 2609.35433

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2609.35433 即可从此页面关联。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.35433 即可从此页面关联。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2609.35433 即可从此页面关联。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从此页面关联。

相似文章

论 KL 正则化策略优化

Hugging Face Daily Papers

提出 KL 正则化策略优化（KLPO）框架，通过将 KL 正则项锚定在采样器处，实现无 critic、无重要性权重的异步 RL 更新：每个 prompt 仅需一次 rollout，并证明 SPPO、GPO、REBEL 和 BPO 均为 KLPO 的特例。

ReAPO：面向大语言模型推理中高效探索的重试感知策略优化

arXiv cs.LG

ReAPO 提出一种基于随机最短路径视角的重试感知策略优化方法，对 GRPO 进行改进，将额外生成分配给失败轨迹以实现更有原则的信用分配，在 Qwen3 和 OLMo-2 系列模型的数学与科学推理基准上显著提升首次尝试性能并减少生成 token 数。