标签
本文提出保留感知策略优化（RaPO），通过强化微调缓解视觉连续学习中的灾难性遗忘。RaPO采用轨迹级奖励塑形和跨任务优势归一化，缩小了类增量学习和域增量学习中强化微调与监督微调之间的差距。
本文介绍了 SGRPO，这是一种策略优化框架，通过结合集合级多样性奖励和效用来提升生物分子的生成能力。它在小分子和蛋白质设计等任务中展示了改进的效用-多样性权衡。
本文引入了近似下一策略采样（ANPS）作为深度强化学习中保守策略更新的替代方案。它提出了稳定值近似策略迭代（SV-API）和 SV-RL，通过将训练数据与下一策略的状态分布对齐，从而实现更大且更安全的策略更新。
本文介绍了 POISE，一种通过利用模型自身内部状态来估计基线，从而在大型推理模型中实现稳定策略优化的方法，与 PPO 和 GRPO 相比，该方法降低了计算开销。
本文介绍了 A^2TGPO，这是一种针对代理式大语言模型（LLMs）的强化学习方法，它利用自适应回合级裁剪和信息增益归一化来改善多轮交互中的过程信用分配。
提出近未来策略优化（NPO），一种混合策略强化学习方法，通过在同一训练运行中利用更晚的 checkpoint 学习，加速收敛，将 Qwen3-VL-8B-Instruct 性能从 57.88 提升至 62.84。
# 论文页面 - DiPO：基于解耦困惑度的策略优化，实现细粒度探索-利用权衡 来源：[https://huggingface.co/papers/2604.13902](https://huggingface.co/papers/2604.13902) 作者：,,,,,,,,,, ## 摘要 一种面向大语言模型的新型强化学习方法，通过基于困惑度的样本划分与双向奖励分配机制，解决探索-利用权衡问题。[强化学习](https:
本文提出 mmGRPO，一种多模块扩展的群体相对策略优化（GRPO）方法，通过优化语言模型调用和提示来提升模块化 AI 系统的准确率。实验表明，该方法在各类任务上平均带来 11% 的准确率提升，并在 DSPy 中提供了开源实现。
# 量化强化学习中的泛化能力 来源: [https://openai.com/index/quantifying-generalization-in-reinforcement-learning/](https://openai.com/index/quantifying-generalization-in-reinforcement-learning/) 我们训练了9个智能体来玩CoinRun，每个智能体都有不同数量的可用训练关卡。前8个智能体分别在包含100到16,000个关卡的数据集上进行训练。最后一个智能体在不受限制的关卡集合上进行训练，因此该智能体永远不会看到相同的关卡两次。
OpenAI 提出了参数噪声技术，该方法向神经网络策略参数添加自适应噪声，而不是向动作空间添加噪声，使得智能体能够比传统动作噪声方法快得多地学习任务。该方法在 HalfCheetah 上实现了 2 倍的学习速度提升，代表了进化策略与 TRPO、DDPG 等深度强化学习方法之间的平衡点。
OpenAI 提出进化策略（ES）作为一种可扩展的黑箱优化方法，可替代强化学习用于训练神经网络策略。进化策略通过将策略训练视为随机参数搜索来简化优化问题，该搜索基于奖励反馈反复采样并选择更优的参数配置。