标签
该论文系统研究了在线自蒸馏（OPSD）中特权信息（PI）的有效性预测，评估了16种PI配置，并提出基于KL散度的指标来在训练前筛选PI，结果显示其能更好预测后训练性能并与GRPO结合取得更强效果。
Lean4AgenticRL 提出了首个基于 Lean4 形式化框架的多层级过程奖励方法，用于开放式 agentic RL 训练，并训练出 LAR-9B/27B 模型，其中 LAR-27B 在 TerminalBench-2.1 上达到 77.3%，显著超越同规模领先模型。
提出 ETRO（Error-Truncated Hindsight Distillation），根据轨迹结果与错误边界路由正/负两类 hindsight 技能以实现细粒度 credit 分配，并让 post-error 后缀仅由 GRPO 优化，从而避免技能条件化监督与当前状态不匹配的问题。
论文提出 GRSE（群体相对技能演化），通过重复执行并对比同一技能库下的多次运行，将共享团队奖励正确归因到具体的 agent-技能对上，从而改进协作式语言智能体的技能演化，在 HotpotQA 与 LoCoMo 上超越 MASkills 并能从有害技能中恢复。
推荐 HuggingFace 博客文章系列《Score Function Centering》，从直觉出发系统讲解 LLM 异步强化学习中的 trainer-generator 失配问题以及分数函数中心化（SFC）如何修复策略梯度中零期望性质，只需了解 GRPO 即可阅读。
该论文提出了 OpCredit，一种面向智能体知识图谱问答的操作感知策略学习框架。该框架结合分支结果信用分配与前沿转移信用分配，将信用分配给单个操作而非整条轨迹，并在 ComplexWebQuestions、WebQSP 和 GrailQA 上均取得了稳定提升。
本文提出 MemComposer，一个通过强化学习（基于 GRPO 的 ExPO 框架）学习为 LLM 智能体组装记忆的模型，联合考虑查询与候选记忆决定选取内容、数量与顺序，在 τ²-bench 上超越基线并降低 16.9%/4.9% 的记忆 token 开销。
提出 Replay-Selected Hindsight Distillation（RSHD，重放筛选的后见蒸馏）方法，让模型从完全失败的推理组中恢复监督信号：策略对失败尝试撰写纠错笔记并重新求解，仅当重放探索成功时才将该笔记蒸馏回普通提示策略中，在多个模型族和数学/代码训练域上一致优于 GRPO。
Scene-Designer 提出了一个通过设计与批评双重经验学习设计智能的智能体框架，用于生成完整、连贯且可用的 3D 室内场景，并提出了 Critic 引导的 Scene-GRPO 方法，在物理有效性、功能正确性和布局连贯性方面取得了更优的性能。
该论文提出 ForkGRPO，一个面向扩散大语言模型的强化学习框架，通过在高熵中间状态采样多个延续并进行段级信用分配，提升了探索效率与推理性能，相比 JustGRPO 最高提升 1.2 个百分点且减少 27.8% 的生成 token。
PEARL提出了一种面向多轮智能体的强化学习方法，通过分支轨迹的首次分歧点构建局部决策特征，并利用成功/失败记忆聚类识别重复模式，从而在不引入额外价值评估器的情况下改进信用分配。在AppWorld和ALFWorld基准上，PEARL在4B和8B规模模型上均超越了ARPO等基线，ALFWorld 4B达到97.9%成功率。
论文提出“执行后学习”（Learning after Execution）框架，将程序执行结果作为中间状态，支持额外的纠正学习动作，并为初始动作与纠正动作分配不同的信用，在图像转TikZ任务上将渲染成功率提升至92.70%。
本文提出上下文信用策略优化（CCPO），一种无需价值评估器的步骤级信用分配方法，通过上下文相似度加权的同伴比较与未来进度信号，为大语言模型智能体在长程任务中的强化学习提供更精细的优势估计，在 ALFWorld 和 WebShop 上显著优于组相对策略优化（GRPO）。
AlphaBet 采用智能体强化学习训练单一 LLM 策略，使其在多日期事件预测中进行搜索、推理与概率汇报。通过多日期训练，Forecast-Dojo 上的 Brier score 从 0.731 降至 0.626，并揭示 GRPO 的标准差归一化会损害 proper scoring rule 的表现。
EVA-Cap 提出一种事件中心的音视频视频描述框架，将描述分解为原子事件并通过 SFT 与 GRPO 优化对齐，在 ChronusAV 上平均提升 9.0%，在 WorldSense 上提升 3.3%。
SCOPE 提出一种基于 GRPO 的语义边界信用优化目标，通过在语义 span 内聚合策略对数概率变化来改进文本到图像生成的提示重写，在 GeneVal 和 T2I-CompBench 上相比原始 GRPO 分别提升 9.48% 和 7.62%。
一篇对比 SFT、DPO 和 RLVR 三种大模型定制方法的解析文章，包含在 Amazon SageMaker AI 上使用 GRPO 对 Qwen3 0.6B 在 GSM8K 数据集上进行训练的实测，准确率提升约 2.9 个百分点，并提供如何选择合适的监督方法的指导，以及 AWS 无服务器模型定制工作坊资源。
该论文对智能体强化学习中的自蒸馏方法进行了系统性评测，对比十种代表性方法与GRPO在四个基准上的表现，发现没有方法能稳定超越GRPO，且强最终性能可能掩盖不稳定的训练过程。
ReMaRk 提出通过将生成列表与所有有效回复的标题联合评分来消除 GRPO 训练中的回复噪声，在保持或超越 Rank-GRPO 性能的同时显著降低 LLM 推荐模型的 RL 训练成本。
该论文提出一种在多步 LLM 智能体任务中，利用最终结果（而非单步正确性）来校准智能体自报置信度的强化学习方法。在 ALFWorld、TextWorld 和 WebShop 环境中，步级置信度对最终结果的 AUROC 从接近随机提升至 0.68–0.85，校准误差显著下降，且不损害任务成功率。