grpo

介绍了TRIAGE，一种角色类型化信用分配框架，通过提供比标准GRPO方法更细致的信用分配来改进智能体强化学习。该框架使用结构化评判器对动作片段进行分类，并根据语义角色分配过程奖励。

本文提出了一种迁移感知课程（TAC），这是一种基于多臂老虎机风格的多领域RLVR在线课程，通过梯度几何对齐优先选择其更新能惠及其他领域的领域。与固定课程和仅基于可学习性的课程相比，TAC在Qwen3-1.7B和Llama3.2-3B上提升了宏观平均准确率。

您现在可以使用 TRL 的 GRPO 和 RLOO 方法来训练 Liquid AI 的 LFM2-VL 模型，并提供了示例脚本。

讨论了为什么 GLM-5.2 放弃使用 GRPO，暗示 GRPO 的假设可能不适用于长周期代理任务。

本技术报告介绍了VibeThinker-3B，一个3B参数的密集模型，在AIME26和LiveCodeBench等基准测试上实现了前沿水平的推理性能，通过结合基于课程的SFT、多领域RL和离线自蒸馏，匹配或超越了DeepSeek V3.2和GLM-5等更大的模型。

ABACUS 是一个统一的视觉语言模型，可处理多个计数任务和忠实于计数的图像生成，无需针对特定基准进行训练，在七个基准测试中取得了最先进的结果。

代理强化训练器（ART）是一个开源框架，将基于GRPO的强化学习嵌入任何Python应用，使代理能够通过环境交互学习，利用轨迹评分和LoRA更新，据称使用Qwen 2.5 14B模型在邮件检索任务上超越OpenAI的o3。

本文介绍了奖励作为智能体（Reward as an Agent）和DynDiff-GRPO，以解决具身世界模型中强化学习的奖励黑客攻击和有限探索问题，实现了显著的准确率提升。

MetaResearcher 提出了一种框架，用于在对抗性虚拟环境中通过自我反思强化学习训练深度研究智能体，解决了静态环境和仅事实检索任务的局限性。

连续批处理已添加到TRL的GRPO中，提高了速度并减少了VRAM使用，无需vLLM。推文解释其工作原理及适用时机。

Karpathy对强化学习中奖励函数的批评被OpenPipe的ART框架通过RULER解决，该框架允许使用自然语言定义奖励并由LLM评估，取代了手动奖励工程。

DataClaw0提出了一种智能数据裁剪范式，利用可学习的数据处理来结构化高熵多模态流，通过在一个新型基准上进行SFT和GRPO实现了稳健的对齐。

本文表明，通过精心设计的长上下文强化学习数据配方，结合基于结果的最小GRPO，能够显著提升多个模型和基准测试的推理能力，并迁移到GAIA和BrowseComp等智能体任务。

本文证明，为GRPO选择pass@1最高的SFT检查点可能会失败，因为SFT过训练压缩了输出多样性，导致强化学习中的熵崩溃和排名反转。在Qwen2.5-Coder-3B和DeepSeek-Coder-6.7B上的实验表明，预RL熵与GRPO结果呈正相关，并且一个两阶段诊断方法可以检测高风险检查点。

本文介绍了一种训练时干预方法——动态展开编辑（Dynamic Rollout Editing, DRE），用于减少GRPO式强化学习推理模型中的过度思考。DRE通过保留可到达解的路径前缀并偏好经过验证的较短版本，来编辑成功轨迹，从而削弱对不必要思考的偏好。

STARE 通过引入惊奇度引导的令牌级优势重加权和目标熵调节，解决了基于GRPO的大语言模型强化学习中的策略熵崩溃问题，在AIME基准上实现了4%-8%的准确率提升。

本文介绍了CoRA，一种基于GRPO的强化学习框架，旨在将LLM的置信度与生成的理由对齐，以提高思维链推理的可靠性，在多个基准测试中将不对齐误差降低了高达26.51%。

Neural_avb 发布了一个轻量级的 Answer-eq 奖励模型，用于问答任务的强化学习训练，声称与外部评判 LM 的一致性达到 80%，且比 F1/ROUGE/BertScore 更快。

ProcessThinker 引入了一种实用的后训练流程，无需训练显式的过程奖励模型即可提供步骤级的过程奖励。它利用基于展开的奖励为多模态大语言模型中的多步推理提供密集的信用分配，在视频基准测试上持续提升性能。

SWITCH 是一种可切换隐式推理框架，它使用显式边界标记，通过基于在策略的强化学习实现可训练且可解释的递归隐状态推理，优于先前的方法。