agentic-rl

SCOPE 提出了一种选择性关键步骤的在线自蒸馏框架，通过错误定位与技能生成，在强化学习训练中提供细粒度监督，在 ALFWorld 和 WebShop 上的表现显著优于 GRPO 与 SEED。

一份由研究者精选的入门必读论文清单，共 3 篇：Search-R1 打基础，Agent Lightning v1.0 了解实践前沿，以及一篇综述纵览 LLM 的 agentic RL 全景。帖子附有 Search-R1 论文链接，该论文训练 LLM 在逐步推理过程中自主生成搜索查询并结合实时检索。

EnvLunch 提出一种无标注的热身训练阶段，通过从可执行环境中采样并执行动作轨迹，让智能体根据最终观测恢复等价轨迹，从而在无需人工标注的情况下提升下游智能体强化学习性能，显著减少所需标注数据量。

该论文提出 FlashNext-RL——一个针对 Qwen3.8-Flash-Next 的模型专用长时程智能体强化学习训练优化框架，基于 prime-rl 与 vLLM，在单个 8×B200 节点上将 BF16 全模型训练吞吐量从约 395 词元/秒/GPU 提升至 4,438 词元/秒/GPU（131K 词元上下文），并支持实时软件工程强化学习训练运行。

提出 Harness Scaling 这一新的强化学习扩展维度，通过在多样化执行配置上训练以提升智能体模型对未见 harness 的泛化能力，并在多个基准上验证其优于单一 harness 训练的效果。

该论文提出将 agentic RL 数据分解为**任务**、**环境**、**轨迹**三个维度，并分别拟合各维度的 scaling laws。研究发现，三个维度的扩展指数排序为：**环境多样性 > 任务 > 轨迹**。基于这一结论，作者推导出 Chinchilla 风格的计算最优数据配方，最高可获得 **1.7 倍**的计算效率提升。

本文提出 Self-Credit，一种智能体强化学习方法，通过自生成的信用分配和组内重缩放来稠密化稀疏的 RLVR 奖励，在 BrowseComp-Plus、GAIA 和 xBench-DeepSearch 基准上使用 Qwen3 模型取得了显著提升。

Lean4AgenticRL 提出了首个基于 Lean4 形式化框架的多层级过程奖励方法，用于开放式 agentic RL 训练，并训练出 LAR-9B/27B 模型，其中 LAR-27B 在 TerminalBench-2.1 上达到 77.3%，显著超越同规模领先模型。

提出 ETRO（Error-Truncated Hindsight Distillation），根据轨迹结果与错误边界路由正/负两类 hindsight 技能以实现细粒度 credit 分配，并让 post-error 后缀仅由 GRPO 优化，从而避免技能条件化监督与当前状态不匹配的问题。

文章介绍了海外小型AI实验室Paper Instruments（YC S25批次，融资约400万美元），其专注于大模型后训练与非可验证领域的智能体强化学习，发布了基于GLM-5.3 Flash后训练的Ultramarine 1 Flash模型，宣称在知识工作任务上接近Claude Fable 5的性能，但成本仅约为其六十分之一，后训练总成本约30万美元，采用开源加推理API的商业模式。

提出一种以程序验证器为奖励信号的智能体强化学习框架，通过读取验证器诊断信息（而非二元判决）并加入完整性审计，显著提升Qwen3系列模型在DafnyBench和SWE-Proof等验证基准上的正确率（最高达100%）。

评论介绍了 UCLA 与 Adobe Research 的 Tev 工作：通过构建可验证的长任务环境与稠密中间进度奖励来训练长时程 Agent。Tev-27B 在 Agents'LastExam 的计算与数学子集上以 Pass@5 28% 比肩 GPT-6 Astra 与 Claude Opus 5；Tev-320B 则将 GLM-5.3-Flash 在 Terminal-Bench 4.0 计算与数学子集上的 Pass@1 从 29% 提升至 37%。

CoPE 论文提出通过在成功轨迹上训练多步动作目标，使语言智能体的行动与预测能力协同演化，从而在不增加推理开销的情况下提升样本效率，相比 GRPO 与 ECHO 在多项基准上取得更强表现。

SERO 提出通过在真实策略状态上训练可执行的预言机续段（并按策略可达性加权）来改进长程智能体强化学习，且推理时无需额外开销；在 ALFWorld 与 WebShop 上验证了其有效性。

提出了RSIPO框架，通过技能与策略的协同演化实现智能体强化学习的递归自我优化，在ALFWorld上以Qwen2.5-7B达到98.6%的成功率，显著超越GRPO等基线。

该报告介绍了MiMo-V2.6系列全模态模型，通过扩大强化学习计算规模（大批量异步训练、多样化环境、群组智能体评分）推动模型智能走向自我改进，并开源了训练动态、RL环境与框架。

SkillForge 提出了一种智能体强化学习方法，通过适应度驱动的试用期、活跃期、稳定期、退役期生命周期，实现 LLM 智能体与其技能库的协同进化。在交互式智能体基准上，该方法相对最强基线最高提升 7.8%；作者同时发布了 SkillFurnace——一个包含 5000+ 条记录的数据集，用于研究技能质量与生命周期管理。

研究人员提出了 KV-streams，一种通过直接修剪运行中的 KV 缓存而非重新预填充来压缩代理 RL rollout 的方法，在 SWE-bench Verified 上几乎将 RL 训练速度提升一倍，同时使训练与生成的 token 分布几乎完全一致。

提出 ProVer 框架，通过 agentic judge 筛选可能的关键决策片段，并利用前向与后续采样的终端成功率来验证优势值，从而实现 agentic RL 中的细粒度信用分配。在 ALFWorld、WebShop 和 SearchQA 上，较 GRPO 最高提升 9.91%。

提出特权表示在策略自蒸馏（PR-OPD），通过让策略为轨迹生成事后技能并以自身作为停止梯度教师对齐各层隐藏状态，在 ALFWorld 与 WebShop 上显著优于 GRPO，最高提升 4.7 和 14.0 个百分点。