标签
本线程讨论了针对智能体强化学习对GRPO的改进，重点介绍了不同层级的优势归一化（提示层级、任务层级、环境层级），以应对多任务、多轮次环境中的高奖励方差。
LiteResearcher是一个可扩展的强化学习训练框架，专为深度研究智能体设计。
本文详细介绍了 GLM-5.2 在 Agentic RL 中的最新进展，包括引入 slime 基础设施、从 GRPO 转向 PPO 处理长轨迹、以及在线反作弊机制；同时探讨了 Qwen 在验证器质量方面的研究，提出可扩展性、忠实性和鲁棒性三个维度，并针对不同任务设计了多种验证策略以提升奖励信号的可靠性。
介绍了TRIAGE，一种角色类型化信用分配框架，通过提供比标准GRPO方法更细致的信用分配来改进智能体强化学习。该框架使用结构化评判器对动作片段进行分类，并根据语义角色分配过程奖励。
该文章由ROLL团队分享了在终端环境中进行Agentic RL训练时的实践经验，包括环境管理器设计、异步训练管线以及多种模式切换，并对比了RLVR与Agentic RL的本质区别。
一条讨论智能体强化学习中最困难的方面之一的推文串：管理和扩展环境。
OPID 是一个框架，它从完成的在线策略轨迹中提取密集的词元级监督信号，用于语言智能体的强化学习，通过分层技能（情节级和步骤级）来提高样本效率和鲁棒性。
本文研究了为什么多步骤工具使用强化学习（RL）常常崩溃或收益有限，并将控制令牌中的概率尖峰识别为关键原因。研究表明，将监督微调与RL交替进行可以提高稳定性，并探索了各种监督信号以指导稳健训练。
一篇博客文章，总结了十个最新的智能体强化学习框架和最佳实践，涵盖模块化接口、轨迹结构、动作掩码、过程奖励、优势归一化、可扩展的 rollout、稳定性/探索以及任务课程。
讨论最近的智能体强化学习论文，强调动作掩码作为一种常见技术及其随着世界建模论文（如ECHO和PaW）的演变。
APPO通过使用细粒度决策点和过程级优势缩放来改进分支决策和信用分配，从而提升LLM智能体的多轮工具使用能力，在13个基准测试中比基线高出近4个百分点。
TRACE是一个统一的展开预算分配框架，通过基于前缀信息性在树状展开中动态分配资源，增强多轮智能体强化学习中的奖励对比。它在Multi-Hop QA等智能体基准测试上提升了效率和准确性。
OpenEnv是一个用于创建智能体执行环境的库，旨在通过强化学习训练开源智能体。该库正变得更加开放，其新治理委员会成员包括Meta-PyTorch、Hugging Face、Nvidia等，目标是在模型和框架之间提供通用的协议层。
Sergio Paniego 强调，前沿智能体的性能得益于模型在其部署框架内进行训练。NVIDIA AI 的新工作“Polar: Agentic RL on Any Harness at Scale”能够将 Codex、Claude Code、Qwen Code 或 Pi 等框架转化为强化学习训练环境，而无需修改其内部结构。
StepPO 引入了一种面向智能体强化学习的步骤中心范式，该范式将策略优化与智能体决策粒度对齐，在多轮交互任务中优于以令牌为中心的方法。
This article explains the 'Token-In, Token-Out' (TITO) invariant in reinforcement learning for LLMs, highlighting a common error when training multi-turn agents with tool calls. It presents two solutions: using per-model renderers or designing training to avoid re-encoding decoded tokens, emphasizing prefix-preserving chat templates.
Sanbu 散步发布了现代RL教程Hands-On Modern RL，涵盖从CartPole+PPO入门到LLM后训练（RLHF、DPO、GRPO）和Agentic RL，代码先行，英文版即将更新。
Skill0.5是一种新颖的智能体强化学习框架，通过动态难度感知路由器将通用技能内化与任务特定技能利用相结合，改进了复杂任务环境中的分布外泛化能力，在ALFWorld和WebShop上的实验证明了其效果。
NVIDIA发布了Polar，一个用于黑盒智能体强化学习的开源基础设施，支持使用任何智能体工具或框架训练如Claude Code或Codex等编码智能体。
本文提出AKBE，一种用于LLM智能体强化学习的在策略方法，能够动态判断何时需要使用工具以及何时内部知识足够，平均准确率提升+1.85，工具调用次数相比标准智能体RL减少18%。