超越欧几里得裁剪：通过黎曼等距策略优化克服LLM强化学习中的探索崩溃

Hugging Face Daily Papers 论文
reinforcement-learning llm policy-optimization exploration riemannian-geometry clipping reasoning

摘要

本文揭示了PPO-Clipping使用欧几里得度量导致LLM强化学习中的探索崩溃，并提出了黎曼等距策略优化（RIPO）以确保几何一致的策略更新，在AIME24上比GRPO提升了高达60%。

强化学习（RL）已成为增强LLM推理能力的主要范式。然而，使用PPO-Clip的强化学习算法本质上受到探索崩溃的限制。后续工作主要是启发式的，未能识别出PPO-Clip失败的根本原因。本文揭示了PPO-Clip的基本缺陷：它隐式地使用欧几里得度量来衡量策略差异，这在理论上与策略黎曼流形上的内在几何不一致。这种几何不匹配导致在低概率区域进行过于保守的更新，而在高概率区域进行激进的更新，最终导致探索崩溃。为了纠正这一几何缺陷，我们提出了黎曼等距策略优化（RIPO），它在黎曼流形上保证等距策略更新，有效平衡探索与利用。我们进一步表明，RIPO实现了有利的偏差-方差权衡，从而稳定优化过程。大量实验表明，RIPO在七个竞赛级别的基准测试上显著优于现有的LLM强化学习算法（在AIME24上比GRPO提升了高达60%）。
查看原文
查看缓存全文

缓存时间: 2026/07/24 05:08

论文页 - 超越欧几里得裁剪：通过黎曼等距策略优化克服LLM强化学习中的探索崩溃

来源：https://huggingface.co/papers/2607.10169

摘要

强化学习（RL）已成为增强LLM推理能力的主流范式。然而，采用PPO-Clip的强化学习算法天生受限于探索崩溃问题。后续工作仍主要依赖启发式方法，未能识别PPO-Clip失败的根本原因。本研究揭示了PPO-Clip的根本缺陷：它隐式使用欧几里得度量来衡量策略差异，这与策略黎曼流形的内在几何结构在理论上不一致。这种几何失配导致低概率区域更新过于保守，而高概率区域更新过于激进，最终引发探索崩溃。为纠正这一几何缺陷，我们提出黎曼等距策略优化（RIPO），该算法在黎曼流形上保证策略更新的等距性，有效平衡探索与利用。我们进一步证明，RIPO实现了有利的偏差-方差权衡，从而稳定优化过程。大量实验表明，RIPO在七个竞赛级基准测试中显著超越现有LLM强化学习算法（在AIME24上相较GRPO提升高达60%）。

查看arXiv页面（https://arxiv.org/abs/2607.10169）查看PDF（https://arxiv.org/pdf/2607.10169）GitHub0（https://github.com/Aiolus-X/RIPO）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.10169）

在你的智能体中获取此论文：

hf papers read 2607\.10169

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型：0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.10169 以将其链接至此页面。

引用此论文的数据集：0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.10169 以将其链接至此页面。

引用此论文的Space：0

没有Space链接此论文

请在Space README.md 中引用 arxiv.org/abs/2607.10169 以将其链接至此页面。

包含此论文的收藏：2

相似文章

@johnschulman2: PPO在LLM时代迎来了第二波，原因超出了原始论文的预期——重要性比率目标会修正由数值误差、异步训练和前向传播噪声引起的偏差——而裁剪目标通过一种我们当初发表时未知的机制影响熵（DAPO, https://arxiv.org/abs/2509.26114）

X AI KOLs Following

本文揭示了PPO和GRPO中的裁剪机制在LLM的RLVR中引入了熵偏差：低裁剪增加熵，高裁剪减少熵。作者证明，即使在随机奖励的情况下，标准裁剪也会降低熵，并表明调整低裁剪可以防止熵塌陷并促进探索。

基于变分学习的RLVR参数探索

Hugging Face Daily Papers

本文介绍了扰动参数策略优化（3PO），这是一种用于LLM强化学习的参数空间探索方法族，展示了在数学和代码任务上相较于GRPO的一致改进。