标签
该论文介绍了 CivHarness，一个基于回放、用于在 Freeciv 中生成长时程反馈的系统，以及 CivTelescope，一个预测哪种游戏局面能带来更好结果的大语言模型评判器，旨在解决游戏内分数具有误导性的“积分榜陷阱”问题。使用 CivTelescope 作为密集奖励（CivMarshmallow）后，智能体在游戏中期取得了 8.94 分的提升，比最佳基线高出 77%。
该论文提出了 TARGRS，一种测试时去毒框架，通过沿大语言模型潜在空间中的毒性轨迹，学习词元级、具备转移感知能力的奖励引导，在 RealToxicityPrompts 上实现了高达 69.38% 的毒性降低，并以极低的推理开销扩展至视觉语言模型。
Rubricon 是 Handshake AI 推出的一套流水线，无需人工标注或微调，即可自动生成并优化用于大语言模型评估和后训练的判别式评分标准。与以往的合成方法相比，其与专家评分标准的一致性提高了 9%；在训练 Qwen3.5-9B 时，HealthBench 性能提升了 4.5%。
CONCUR 提出了一种新的优势估计器，用于大语言模型的多任务、多奖励强化学习训练。该估计器将经过门控的辅助奖励投影为与主要奖励一致的分数，在三个模型上的数学、代码、指令遵循和写作任务中均优于基线方法。
本文提出 Discord 与 BRACE 两种方法，利用奖励分歧来校准 MCP 环境中工具使用语言模型的强化学习 rollout 预算分配，并在 Qwen3-VL 多个规模及 BFCL、NESTFUL 基准上验证其优于基线。
该论文提出将少量专家（SME）评判转化为密集奖励信号，并与检索指标结合成适用于 GRPO 的混合奖励，以解决非可验证领域（如金融服务检索）中稀疏奖励导致的梯度消失问题。实验显示 Recall@3 最多提升 6%，MRR@3 提升 6.7%。
华为 openJiuwen 团队提出 Reward Engine，通过构建由测试用例和评分细则组成的冻结 RewardPack，为开放式工具智能体提供证据驱动的奖励信号，用于自修订与强化学习，在 WorkBuddy Bench Office 和 Claw-Eval 上显著提升通过一致性。
HarnessRL 提出一个与策略共同进化的训练框架，通过自适应任务采样、rollout 引导和 rubric 标准更新来解决开放式强化学习中的奖励失效问题，并发布了五领域评测集 Rubric-Mix-10k，在 4B 和 9B 模型规模上均优于最强基线。
CleanRM 使用少量干净反馈，通过最优传输校准逐样本噪声比例，并以噪声校正的代理损失训练奖励模型，在 RLHF 中实现无偏的干净风险估计并超越现有去噪基线。
腾讯 Hy Frontier 与学术合作者提出 Terminal-RSI，一个面向终端智能体的递归自我改进循环，交替进行经验证轨迹改写与继承批评器的策略优化，将 27B 模型在 Terminal-Bench 2.1 上的成功率从 51.7% 提升至 86.5%，并在 Terminal-Bench 4.0 上以 19.8% 达到新的 SOTA。
本文提出 MRTPO，通过基于回放的相关性度量将每个奖励的优势只分配给相关词元，从而改进多奖励强化学习训练，加速收敛，并提升在文本到 SQL、多约束指令遵循和工具调用任务上的性能。
ReMaRk 提出通过将生成列表与所有有效回复的标题联合评分来消除 GRPO 训练中的回复噪声，在保持或超越 Rank-GRPO 性能的同时显著降低 LLM 推荐模型的 RL 训练成本。
提出一种无需人工偏好标注的多模态奖励建模方法：在冻结的 Qwen3-VL 骨干网络的中间层上训练线性探针，通过扰动字幕对比进行训练，在多个基准上达到或超过 GPT-4o，且微调计算量仅为千分之一。
论文提出了行为自奖励（BSR），一种奖励精炼方法，利用策略自身对同一任务轨迹的调试行为进行两两比较，并生成辅助奖励，超越二元可验证奖励的局限。该方法基于 Qwen3-14B/32B，在 SWE-bench Verified 和 SWE-bench-Live 上均取得了一致提升。
该论文提出 Tracking-Value PPO（TPPO），通过在对数几率空间对前缀值进行贝叶斯分解，构建累积值参数化以更好地跟踪语言模型推理中的值演化。TPPO 在 Qwen3-4B-Base 和 Qwen3-8B-Base 上分别比 PPO 提升 7.0 和 8.4 个数学推理分数点，并改善了分布外泛化能力。
本文提出 LatentGRM，一个隐空间评估框架，通过语义保持的分块压缩在连续隐空间中执行基于评分标准的奖励建模，在 4B/8B 规模下取得了与 SFT 评判模型相当的偏好判断准确率，同时将评估轨迹压缩至原来的 1/8.9–1/9.2，并将推理时间缩短为原来的 1/6.1–1/7.0。
LatentGRM 提出了一种基于语义分块与压缩重建的潜在评估框架，通过在连续隐空间中完成 rubric 引导的成对偏好判断，将评估轨迹压缩 8.9–9.2 倍并把推理时间减少 6.1–7.0 倍，同时保持与显式 SFT 评委相当的偏好准确率。
HARPO 是由华为技术有限公司提出的强化学习框架，通过幻觉感知生成奖励模型、选择性激活机制和数据课程，联合优化幻觉抑制与创意写作，在 Qwen 模型上降低幻觉率的同时提升了创意写作质量。
MatrixReward 提出通过构建「按生成结果×评分标准」的胜率矩阵来为开放式生成任务构建奖励，并利用列展开度与相关性统计量推导出依赖于数据的评分标准权重与理想分布。该方法在四个基准测试上使用 Qwen3-8B 进行评测，平均得分达 63.02，比最强基线高出约 2%。
作者扩展了 Cognition 的 SWE-2 奖励函数，通过调节 λₑ（即帕累托前沿在该努力水平处的导数）来主动引导帕累托前沿，而不仅仅是优化它，从而针对期望的分数/成本改进平衡进行目标化。