标签
Google Research 关于 Diffusion Controller 的文章报告了 90% 的胜率，但该结果属于基于 Stable Diffusion v1.4 骨干网络的全白盒设置，而非灰盒控制器变体——这一区别对于评估该方法用于实际部署的开发者而言至关重要。
来自EPFL和University of Helsinki的研究者提出了不确定性归一化间隔DPO（UNM-DPO/ULNM-DPO-WR），该方法将偏好强度间隔与学习到的依赖提示的不确定性尺度及长度归一化相结合，在使用Llama-3.1-8B-Instruct策略模型时，于HelpSteer2/3和AlpacaEval上取得了优于DPO和SimPO的胜率表现。
本文提出一种通过组合偏好奖励（Bradley-Terry目标）与基于评分标准（rubric）的奖励来对前沿文生图模型进行后训练的方法，避免简单加权平均导致的次优优化。在Arena文生图排行榜上，经RL训练的Flux2dev比基线Elo高69分，后训练的Ideogram-4以1223.5的Elo超越所有开源模型，并发布Arena-T2I-Training 1K训练数据子集以支持可复现研究。
MetaRubric 通过交替进行证据感知的策略优化与响应引导的评分标准适配，解决基于评分标准的强化学习中「空洞奖励（Vacuous Credit）」问题，在 PubMedQA 上比静态评委 GRPO 提升 6.00–20.40 个百分点。
LexReward 提出了一种面向法律语言模型的分类法驱动奖励框架，从风格、要素和推理链三个维度评估回答质量，用于构建 DPO 偏好数据以及奖励模型（LexRM），从而提升法律推理性能。
本文是首篇对视频生成模型后训练与对齐方法的全面综述，将现有方法归入隐式对齐与显式对齐两大类，涵盖监督微调、自训练/蒸馏、基于偏好与奖励的方法以及推理时方法，同时综述了相关数据集、基准测试与开放挑战。
本文发现，较小的冻结模型能够为偏好蒸馏生成比模型自生成回复更优的负样本（拒绝样本），在降低推理成本的同时，训练出在代码生成与数学推理任务上更强的 7B–72B 学生模型。作者在线性化特征模型下推导了 DPO 的有限时域效用界，用以解释为何任务结构与低似然候选选择能够提升拒绝样本的质量。
论文提出 Rubric Response Theory（RRT），用两参数项目反应模型和通过在线 EM 更新的 Response Parameter Network（RPN）取代加法式评分标准打分。在 Medical 与 Science 基准上，RRT 取得比 GRPO 更高的宏平均评分标准得分，同时将 judge 请求量减半。
RLCD被解释为一种基于模式的Plackett–Luce目标函数，它推进了奖励建模从标量奖励到成对偏好再到多路校准决策，简化了对Jev的理解。
RewardVerse 提出了一种基于评分标准的视频奖励建模框架，以缓解标量漂移并提供稳定的评估标准，从而增强视频生成中的强化学习。
本文介绍了梯度对齐奖励（GAR），一种通过与专家解决方案对齐梯度来增强大语言模型推理强化学习的方法，在数学和一般基准测试中显示出改进。
WorldReward 介绍了一种针对相机条件化世界模型的视觉语言奖励模型，通过分块分解和偏好聚合统一了动作一致性和视觉质量评估，在基准测试中优于现有方法如GPT-5.5。
FIRM-Video 介绍了一种基于检查表驱动的验证框架，用于构建文本到视频任务中的可靠奖励模型，利用时间视觉证据来改进评估和对齐。
VA-Judger是首个用于联合视频-音频生成的奖励模型，它使用人类偏好反馈来评估整体质量，包括一个数据集和基准测试，并在应用于像LTX-2这样的模型时展示了人类偏好率的显著提升。
本文提出了一种基于近体学的奖励公式，用于深度强化学习社交导航，将人类个人空间建模为高斯混合场，以提高社交合规性，同时保持导航效率。
本文指出，RLHF因平均化异质偏好而导致程序公平性失败：多数群体主导奖励学习，少数偏好代表性不足。文章提出了偏好感知RLHF（PA-RLHF），在受控实验中提升了对齐准确率并缩小了公平性差距。
本文介绍了LEMUR，一个结合多目标强化学习与基于偏好的多人类反馈学习的框架，无需预定义奖励函数即可学习帕累托最优策略。
本文介绍了面向 CLEF 2026 CheckThat! 任务2 的系统，该系统利用基于 LLM 的推理轨迹排序和分组奖励建模来验证英语和阿拉伯语的数值声明，并比较了微调验证器与轻量级奖励模型。
本文引入了一种用于直接对齐算法（DAAs）的正则化技术，该技术保持归一化的响应概率，从而缓解过度优化和似然偏移。该方法提升了生成质量和基准性能，在AlpacaEval2上实现了超过20%的相对提升，并在Llama-3.1-8B-Instruct的通用基准上获得9%的性能增益。