标签
AgentOPSD 提出了一种无评论家的递归方法，用于智能体强化学习中的回合级信用分配，通过在 log-odds 空间中进行贝叶斯信念更新来重新加权结果。它在 ALFWorld 上使用 Qwen2.5-7B 达到了 89.1% 的成功率，优于 GRPO 和自蒸馏基线。
EnvACE 引入了世界预演，一种智能体强化学习方法，通过策略在内部预演环境响应来取代外部环境交互，在多个基准上取得了强劲性能。
本文介绍了SciDisco，一个可扩展的框架，用于通过过程可验证环境、基于DAG的轨迹合成和回合级强化学习来训练科学发现智能体。所提出的SciDisco-14B模型在假设驱动的科学数据分析基准上达到了最先进水平。
SkillRise 是一个统一的强化学习框架，使 LLM 智能体能够在相关且渐进难度的任务中学习并重用技能，在多个基准测试上比基线方法高出最多 8.5 个百分点。
Molt 是来自 NVIDIA NeMo 的开源、原生 PyTorch 的智能体强化学习框架，旨在使用 Ray、vLLM 和 NVIDIA AutoModel 对大型多模态智能体模型进行可扩展的全异步训练。
NVIDIA 发布了 Molt，一个面向智能体强化学习、注重紧凑性和可读性的 PyTorch 原生框架，性能与基于 Megatron 的堆栈相当。该框架是开源的，并附有论文。
Molt是一个基于PyTorch原生的智能体强化学习训练框架，设计简洁紧凑，易于修改，同时实现了与基于Megatron的框架相当的性能。
谷歌宣布其训练后优化库 Tunix 迎来重大更新，推出了异步解耦式回滚引擎，用于在 JAX/TPU 上规模化实施基于智能体的强化学习，消除空闲时间，提升吞吐量。
ToolVerse是一个框架，可从422个真实世界MCP环境（包含4438个工具）自动构建大规模可执行智能体训练环境，并提出了一种基于动态解锁采样算法的任务设计策略以生成长程任务，以及一种用于智能体强化学习中信用分配的轮次感知相对优势算法。
本文研究了Muon优化器在强化学习后训练中的应用，发现在ALFRED任务中，将Muon应用于隐藏权重矩阵相比AdamW显著提高了成功率，且结果依赖于优势估计器和学习率。
这篇来自清华大学的论文提出了单次展开异步优化 (SAO, Single-rollout Asynchronous Optimization)，用于大语言模型的强化学习后训练。SAO 用单次展开异步训练取代了基于批次的 GRPO，以减少 GPU 空闲时间并提高稳定性。该技术被用于训练 GLM-5.2 模型（750B-A40B），在智能体编程和推理基准测试上取得了最先进的结果。
本文介绍了单rollout异步优化（SAO）技术，用于解决LLM后训练中异步RL的稳定性和异策略挑战，并证明SAO在智能体编码和推理基准测试上持续优于GRPO。
清华大学的SAO算法解决了大规模语言模型异步强化学习中的稳定性和离策略漂移问题，在智能体编程和推理基准测试上相比GRPO取得了稳定提升，并用于训练GLM-5.2模型。
本文提出了单次生成异步优化（SAO），以解决异步强化学习在智能体任务中的稳定性和离策略挑战，在编码和推理基准测试上优于GRPO及其变体。SAO已部署在GLM-5.2模型的智能体强化学习流程中。
本线程讨论了针对智能体强化学习对GRPO的改进，重点介绍了不同层级的优势归一化（提示层级、任务层级、环境层级），以应对多任务、多轮次环境中的高奖励方差。
LiteResearcher是一个可扩展的强化学习训练框架，专为深度研究智能体设计。
本文详细介绍了 GLM-5.2 在 Agentic RL 中的最新进展，包括引入 slime 基础设施、从 GRPO 转向 PPO 处理长轨迹、以及在线反作弊机制；同时探讨了 Qwen 在验证器质量方面的研究，提出可扩展性、忠实性和鲁棒性三个维度，并针对不同任务设计了多种验证策略以提升奖励信号的可靠性。
介绍了TRIAGE，一种角色类型化信用分配框架，通过提供比标准GRPO方法更细致的信用分配来改进智能体强化学习。该框架使用结构化评判器对动作片段进行分类，并根据语义角色分配过程奖励。
该文章由ROLL团队分享了在终端环境中进行Agentic RL训练时的实践经验，包括环境管理器设计、异步训练管线以及多种模式切换，并对比了RLVR与Agentic RL的本质区别。
一条讨论智能体强化学习中最困难的方面之一的推文串：管理和扩展环境。