标签
该论文将多重重要性采样(MIS)引入引导式推测推理(GSI)框架，使用多个小型大语言模型作为草稿提案模型并由大型模型与过程奖励模型验证，证明了平衡启发式的最优性，并给出KL散度与奖励退化的新界。
本文识别出一种名为“同策略审计崩塌”的失效模式：在改进后策略产生的数据上，依据完整结果标签更新组件验证器，会导致审计系统性地偏好更差的验证器。作者推导了精确的反转阈值，并提出通过在更新分布中保留对验证器自身失效样本的支持来修复审计。
该论文研究了奖励模型中的涌现性错位（Emergent Misalignment），发现对 Skywork-Reward-V2 奖励模型进行窄域有害微调会泛化到七个未见领域，并通过几何压缩与内容特异性旋转两种机制解释了偏好反转的实现方式，表明奖励模型比语言模型更易受此影响。
本文解释了为何基于多数投票的自奖励能够达到可验证奖励强化学习的效果：在批次层面，不一致的标签错误会相互抵消，使更新方向与真实标签对应的梯度对齐；研究发现，决定自生成标签何时能够替代验证的是错误的一致性，而非错误率。
该论文将 N 选优采样建模为正确响应与错误响应的极端奖励尾部之间的竞争，利用极值理论刻画了三种渐近机制并推导了有限样本缩放定律，解释了奖励投机导致的性能退化，并提出轻量级尾部张力准则来判断额外采样何时有害。
Nebius AI 提出 Caddie 方法，通过强化学习从任务成败结果训练 LLM agent 的自然语言批评器（critic），无需逐步标注。Qwen3-4B critic 在 MuSiQue 上将成功率提升逾 25 个百分点，并可跨基座模型与任务域泛化。
本文重新审视了AI对齐中奖励优化的缩放定律，表明性能随 Θ(√min{log(M), K}) 扩展，其中 M 为偏好数据量，K 为 KL 散度预算；文中还提出了一个信息论模型，并使用代理奖励模型进行了大量的实证验证。
该论文提出了一种位置选择性自蒸馏方法，用于利用自然语言反馈训练 LLM 评判模型。该方法通过逐位置的熵变化来屏蔽容易记忆的词元，在主观任务上将分布外泛化能力提升了 2–9 个点，优于 GRPO 等结果监督强化学习方法。
论文提出了 ContextProgress-Bench 基准，揭示具身进度奖励模型（PRM）在缺乏适当上下文时无法完成长时程任务的进度估计，并提出 ProgressCompass——一种借助通用 VLM 提供所需上下文的智能体循环，将进度估计误差降低了 63-82%。
BiasReducer 是一个轻量级框架，仅编辑奖励模型的线性奖励头，自适应地缓解模型对响应长度和自信度等表面属性的偏好。该框架采用类稀疏自编码器的编码器，按数据集检测并排序相关偏差。在五个奖励模型上，它平均将三项基准指标提升 8.3、18.0 和 6.9 个百分点，优于基于训练的基线方法，并降低了下游的冗长性和谄媚问题。
本文介绍了RM-EVAL，这是一个基于人类偏好数据训练的奖励模型，用于对语法错误纠正进行无参考的元评估，并展示了如何通过奖励引导的文本生成来改进GEC系统。
本文提出生成式验证（GenV），一种使用生成式奖励模型检测自动形式化中参考等价性失败的方法，解决神经符号系统的漏洞并提高验证准确性。
一条推文强调了某人如何通过清晰的类比简化复杂的 AI 代理概念，如奖励模型和评估框架，使其无需术语就能轻松理解。
论文提出了TUP，一种基于排名分类的BoN式蒸馏方法，通过截断低排名的完成项并提升高排名的项，以改善对齐效率和性能。
本文提出了贡献对比（CoCo），一种新颖的响应级解释方法，用于混合专家奖励模型，相比基于路由权重的方法，能更忠实地捕捉路由和偏好行为。
提出 LatentRM，一种奖励建模框架，将中间推理轨迹作为离散潜在变量学习，以显式最大化下游标量奖励似然，从而改进分布内和分布外任务上的偏好建模与策略对齐。
OSReward 提出了一个标准化基准，用于评估 VLM 在计算机使用智能体轨迹上的评判能力，揭示了即使是最先进的模型也存在系统性的宽大偏差。作者发布了 OS-Shepherd-9B 和 35B 奖励模型，为 CUA 任务提供可靠且低成本的奖励信号。
CSPF提出了一种约束共享-私有融合方法，用于整合多个奖励模型的表示进行不可验证偏好评估，性能优于基线方法。
本文认为强化学习中的奖励模型往往过于敏感，对同样好的回答给出不同分数，并提出了一个基于Monte Carlo dropout的免训练离散化算法来降低过度敏感性，从而提高策略质量。