agentic-rl

SCOPE 提出选择性关键步骤的在线自蒸馏框架，通过错误定位与技能生成在 RL 训练中提供细粒度监督，在 ALFWorld 和 WebShop 上显著优于 GRPO 与 SEED。

A researcher-curated reading list of 3 essential papers for getting started with agentic RL: Search-R1 for fundamentals, Agent Lightning v1.0 for practical frontier, and a survey on the landscape of agentic RL for LLMs. The post includes the Search-R1 paper, which trains LLMs to autonomously generate search queries during step-by-step reasoning with real-time retrieval.

EnvLunch 提出一种无标注的热身训练阶段，通过从可执行环境中采样并执行动作轨迹，让智能体根据最终观测恢复等价轨迹，从而在无需人工标注的情况下提升下游智能体强化学习性能，显著减少所需标注数据量。

该论文提出 FlashNext-RL——一个针对 Qwen3.8-Flash-Next 的模型专用长时程 agentic RL 训练优化框架，基于 prime-rl 与 vLLM，在单个 8×B200 节点上将 BF16 全模型训练吞吐从约 395 tokens/s/GPU 提升至 4,438 tokens/s/GPU（131K token 上下文），并支持实时 SWE RL 训练运行。

提出 Harness Scaling 这一新的强化学习扩展维度，通过在多样化执行配置上训练以提升智能体模型对未见 harness 的泛化能力，并在多个基准上验证其优于单一 harness 训练的效果。

该论文提出将 agentic RL 数据分解为任务、环境、轨迹三个维度并拟合各维度的 scaling laws，发现环境多样性 > 任务 > 轨迹的扩展指数排序，并据此推导出 Chinchilla 风格的计算最优数据配方，最高可获得 1.7 倍计算效率提升。

The paper proposes Self-Credit, an agentic RL method that densifies sparse RLVR rewards via self-generated credit assignments and intra-group rescaling, achieving significant gains on BrowseComp-Plus, GAIA, and xBench-DeepSearch benchmarks with Qwen3 models.

Lean4AgenticRL 提出了首个基于 Lean4 形式化框架的多层级过程奖励方法，用于开放式 agentic RL 训练，并训练出 LAR-9B/27B 模型，其中 LAR-27B 在 TerminalBench-2.1 上达到 77.3%，显著超越同规模领先模型。

提出 ETRO（Error-Truncated Hindsight Distillation），根据轨迹结果与错误边界路由正/负两类 hindsight 技能以实现细粒度 credit 分配，并让 post-error 后缀仅由 GRPO 优化，从而避免技能条件化监督与当前状态不匹配的问题。

文章介绍了海外小型AI实验室Paper Instruments（YC S25批次，融资约400万美元），其专注于大模型后训练与非可验证领域的agentic RL，发布了基于GLM-5.3 Flash后训练的Ultramarine 1 Flash模型，宣称在知识工作任务上接近Claude Fable 5的性能但成本低约60倍，后训练总成本约30万美元，采用开源加推理API的商业模式。

提出一种以程序验证器为奖励信号的智能体强化学习框架，通过读取验证器诊断信息（而非二元判决）并加入完整性审计，显著提升Qwen3系列模型在DafnyBench和SWE-Proof等验证基准上的正确率（最高达100%）。

评论介绍了 UCLA 与 Adobe Research 的 Tev-Gym 工作：通过构建可验证的长任务环境与稠密中间进度奖励来训练长时程 Agent，Tev-27B 在 ALE-CM 计算与数学子集上以 Pass@5 比肩 GPT-6 Astra 与 Claude Opus 5，Tev-320B 则将 GLM-5.3-Flash 在 Terminal-Bench 4.0-CM 上的 Pass@1 从 29% 提升至 37%。

CoPE 论文提出通过在成功轨迹上训练多步动作目标，使语言智能体的行动与预测能力协同演化，从而在不增加推理开销的情况下提升样本效率，相比 GRPO 与 ECHO 在多项基准上取得更强表现。

SERO 提出通过在真实策略状态上训练可执行的 oracle 续段（并按策略可达性加权）来改进长程 agentic 强化学习，且推理时无需额外开销；在 ALFWorld 与 WebShop 上验证了其有效性。

提出了RSIPO框架，通过技能与策略的协同演化实现智能体强化学习的递归自我优化，在ALFWorld上以Qwen2.5-7B达到98.6%的成功率，显著超越GRPO等基线。

该报告介绍了MiMo-V2.6系列全模态模型，通过扩大强化学习计算规模（大批量异步训练、多样化环境、群组智能体评分）推动模型智能走向自我改进，并开源了训练动态、RL环境与框架。

SkillForge proposes an agentic reinforcement learning method that co-evolves an LLM agent and its skill library through a fitness-driven lifecycle of trial, active, stable, and retired states. It reports up to 7.8% relative improvement over strong baselines on interactive agent benchmarks and releases SkillFurnace, a 5k+ record dataset for studying skill quality and lifecycle management.

Researchers introduce KV-streams, an approach that compacts agentic RL rollouts by directly pruning the live KV cache instead of re-prefilling, nearly doubling RL training speed on SWE-bench Verified while keeping training and generation token distributions nearly identical.

提出 ProVer 框架，通过 agentic judge 筛选可能的关键决策段并用前后续采样的终端成功率验证优势值，实现 agentic RL 中细粒度信用分配，在 ALFWorld、WebShop、SearchQA 上较 GRPO 提升最高 9.91%。

提出特权表示在策略自蒸馏（PR-OPD），通过让策略为轨迹生成事后技能并以自身作为停止梯度教师对齐各层隐藏状态，在 ALFWorld 与 WebShop 上显著优于 GRPO，最高提升 4.7 和 14.0 个百分点。