论文页面 - 自动评分标准作为奖励：从隐式偏好到显式多模态生成标准

来源：https://huggingface.co/papers/2605.08354

摘要

自动评分标准作为奖励（Auto-Rubric as Reward, ARR）框架将隐式偏好知识外化为结构化评分标准，以改善多模态对齐；而评分标准策略优化（Rubric Policy Optimization, RPO）则通过源自多维评估的二值化奖励来稳定策略梯度。

将多模态生成模型与人类偏好对齐，需要尊重人类判断组合式、多维结构的奖励信号。主流的 RLHF 方法将这种结构简化为标量或成对标签，将细致的偏好压缩为不透明的参数化代理，从而暴露出对奖励黑客（reward hacking）（https://huggingface.co/papers?q=reward%20hacking）的脆弱性。尽管最近的评分标准作为奖励（Rubrics-as-Reward）（https://huggingface.co/papers?q=Rubrics-as-Reward）（RaR）方法试图通过显式标准恢复这种结构，但生成同时具备可靠性、可扩展性和数据效率的评分标准仍然是一个开放性问题。我们引入了自动评分标准作为奖励（ARR），这是一个将奖励建模（reward modeling）（https://huggingface.co/papers?q=reward%20modeling）从隐式权重优化重构为显式、基于标准的分解的框架。在任何成对比较之前，ARR 将视觉语言模型（VLM）（https://huggingface.co/papers?q=VLM）内化的偏好知识外化为特定提示的评分标准（prompt-specific rubrics）（https://huggingface.co/papers?q=prompt-specific%20rubrics），将整体意图转化为独立可验证的质量维度。这种将隐式偏好结构转化为可检查、可解释约束的方法，显著抑制了包括位置偏差在内的评估偏差，从而实现了在极少监督下的零样本部署（zero-shot deployment）（https://huggingface.co/papers?q=zero-shot%20deployment）和少样本条件化（few-shot conditioning）（https://huggingface.co/papers?q=few-shot%20conditioning）。为了将这些收益扩展到生成式训练中，我们提出了评分标准策略优化（RPO），它将 ARR 的结构化多维评估蒸馏为稳健的二值化奖励（binary reward）（https://huggingface.co/papers?q=binary%20reward），用基于评分标准的偏好决策替代不透明的标量回归，从而稳定策略梯度（policy gradients）（https://huggingface.co/papers?q=policy%20gradients）。在文本到图像生成（text-to-image generation）（https://huggingface.co/papers?q=text-to-image%20generation）和图像编辑（image editing）（https://huggingface.co/papers?q=image%20editing）基准测试中，ARR-RPO 优于成对奖励模型和 VLM（https://huggingface.co/papers?q=VLM）裁判，表明将隐式偏好知识（implicit preference knowledge）（https://huggingface.co/papers?q=implicit%20preference%20knowledge）显式外化为结构化评分标准能够实现更可靠、数据效率更高的多模态对齐，揭示了瓶颈在于缺乏因子化接口，而非知识不足。

查看 arXiv 页面（https://arxiv.org/abs/2605.08354）查看 PDF（https://arxiv.org/pdf/2605.08354）项目页面（https://openenvision.github.io/AutoRubric-as-Reward/）GitHub（https://github.com/OpenEnvision/AutoRubric-as-Reward）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.08354）

在你的 agent 中获取这篇论文：

hf papers read 2605\.08354

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型1

OpenEnvisionLab/Auto-Rubric-as-Reward Text-to-Image• 更新于33分钟前 • 2 (https://huggingface.co/OpenEnvisionLab/Auto-Rubric-as-Reward)

引用此论文的数据集0

没有关联此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2605.08354 以从此页面建立链接。

引用此论文的空间（Spaces）0

没有关联此论文的空间（Space）

在空间（Space）的 README.md 中引用 arxiv.org/abs/2605.08354 以从此页面建立链接。

包含此论文的收藏集0

没有包含此论文的收藏集

将此论文添加到收藏集（https://huggingface.co/new-collection）以从此页面建立链接。