grpo

Reviso 是一个智能体视频字幕生成框架，采用分层的 Context-Focus-Points（上下文-焦点-目标）规划与主动感知机制来优先关注关键视觉证据，并通过 GRPO 及专用奖励进行训练，在四个视频字幕生成基准上超越了开源基线模型。

该论文表明，在 GRPO 后训练过程中，即使输出中不包含任何与某种特征相关的语义痕迹，这种特征仍可仅通过评判模型的奖励分数传递给学生模型。论文还确立了一个由四个阶段组成的因果链，解释这种潜意识传递何时会发生，并揭示了其对 AI 安全倾向的影响。

CoFiBreak 提出一种粗到细的多样性奖励机制用于 GRPO 训练的多轮越狱攻击，在保持高效攻击的同时显著提升攻击策略多样性，并可迁移到未见过的前沿模型。

该论文提出了 Li2SAO，一种用于大语言模型后训练的轻量级异步强化学习方法。该方法先使用组相对演员-评论家自举来预热评论家，再切换到单次轨迹采样的广义优势估计（GAE），在训练早期即可追平或超越 GRPO，并提高后期的性能上限。

一篇理论论文，表明在 RLVR 中，在策略专门化条件下，可以证明每一次 pass@1 的提升都必然以某个提示上的性能下降为代价，并给出了 pass@k 曲线交叉点数量的紧界，将其阐释为最优权衡前沿，而非缺陷。

SCOPE 提出了一种选择性关键步骤的在线自蒸馏框架，通过错误定位与技能生成，在强化学习训练中提供细粒度监督，在 ALFWorld 和 WebShop 上的表现显著优于 GRPO 与 SEED。

推文分享了 Hugging Face 整理的《A curriculum for post-training agents》教程，以 Coding Agent 为主线，覆盖 SFT、蒸馏、GRPO、OpenEnv 多轮交互及真实 Harness 训练，并用实验直观展示了 Reward Hacking 的风险。

Anyscale 将举办一场关于大语言模型后训练中强化学习的网络研讨会，内容涵盖基于 GRPO 的 RLVR、同策略蒸馏（OPD/MOPD）、终端智能体后训练，以及对 SkyRL 异步强化学习能力的深入探讨。

SWE-Ladder 提出渐进式特权自蒸馏方法，将每个训练实例的验证修复转化为定位、复现、补丁三个阶段的专属证据，用于训练 SWE 智能体。在 SWE-bench Verified 上，Qwen3-4B 结合 R2E-Gym 框架的 pass@1 从 9.6% 提升至 16.4%，优于 GRPO 和 OPSD 基线。

该论文提出了 ProfileSim，一种面向金融营销外呼的画像驱动用户模拟框架。该框架采用具有分层奖励的 GRPO，并对用户画像与业务画像进行联合建模，为任务型对话系统生成真实、合规的对话数据。

PhysEvolve 提出一个验证器驱动的自演化框架，利用物理引擎验证模型自生成的可执行世界与反事实仿真，以 GRPO 训练视觉语言模型的因果物理推理能力，在 PhysBench、CausalPhys 和 ContPhy 上取得显著提升，且无需人类干预数据。

论文提出SATE-Bench交互式基准，包含316个真实场景与2525个多轮问答对，用于评估多模态大模型的视觉自我感知与主动全景视角探索能力。结果显示，最先进的多模态大模型往往在证据不足时过早停止探索且自信度过高，而GRPO微调虽提升探索行为，却因过度探索和多视角融合失败而降低整体准确率。

ReAPO 提出一种基于随机最短路径视角的重试感知策略优化方法，对 GRPO 进行改进，将额外生成分配给失败轨迹以实现更有原则的信用分配，在 Qwen3 和 OLMo-2 系列模型的数学与科学推理基准上显著提升首次尝试性能并减少生成 token 数。

本文提出了GRSE（群体相对技能演化），这是一种受GRPO启发的方法，通过对比重复执行过程，为协作式LLM团队中的智能体-技能对分配行为信用，从而在HotpotQA和LoCoMo数据集上改进了技能演化效果，优于以往方法。

该论文提出将少量专家（SME）评判转化为密集奖励信号，并与检索指标结合成适用于 GRPO 的混合奖励，以解决非可验证领域（如金融服务检索）中稀疏奖励导致的梯度消失问题。实验显示 Recall@3 最多提升 6%，MRR@3 提升 6.7%。

LongZero 让大语言模型自行合成多跳推理与多轮检索任务，并用 GRPO 在零外部数据的条件下自我提升长上下文推理能力，在五个长上下文基准上超越依赖外部语料的基线方法。

HarnessAdapt-RL 联合训练编码策略并自适应调整其评估框架（harness），通过机制级技能和不断演化的工具，在 9B 基座模型上将 SWE-bench 各变体上的 pass@1 相比 GRPO 最高提升 12.6 个百分点。

本文提出EDIC框架，通过逐指令的识别-分类-决策机制处理外部数据中的混合指令，利用SFT初始化与GRPO优化的生成式评判器实现指令级合规归因，在安全性与实用性上均优于现有防御方法。

这篇论文提出 Concurrent Constraint Reinforcement (CCR)，将多个可独立验证的问题打包进单个受上限的补全中，使 RLVR 在 8,000 token 短窗口下仍保留正确性信号，相比 32k 窗口的 GRPO 每步训练 token 成本降低约 80%。

AlphaBet 是一个基于智能体的强化学习框架，它训练单一 LLM 策略，在多个结果揭晓前的时间点上进行搜索、推理并输出概率，从而降低在 Forecast-Dojo 和 FutureX 上的 Brier 分数，同时揭示了 GRPO 的标准差归一化会扭曲恰当评分规则（proper scoring rule）的目标。