论文页面 - V-Rubrics：基于评分标准的视觉忠实度强化学习

来源：https://huggingface.co/papers/2608.25580

摘要

基于视觉评分标准的强化学习通过结构化部分得分机制，对视觉忠实度、推理一致性和指令遵循度进行评分，从而提升视觉语言模型的视觉关联能力。

视觉语言模型可能生成看似流畅但缺乏充分视觉证据支撑的回答：单个未受支持的对象、图表数值或中间推理步骤就可能破坏整体看似合理的回答。我们认为这是多模态后训练中的信用分配失败问题。标量结果奖励仅能判断回答是否可接受，却无法识别哪些视觉事实已获支撑、哪些推理步骤有效、或哪些指令约束被遗漏。我们提出基于视觉评分标准的强化学习（Visual Rubrics-Based Reinforcement Learning），该方法将参考回答分解为原子命题，并沿视觉忠实度（Visual Faithfulness，VF）、推理一致性（Reasoning Consistency，RC）和指令遵循度（Instruction Following，IF）三个维度对生成回答进行评分。所得评分标准条目提供结构化部分得分，并在支持证据片段可用时实现评分标准信用的本地化。我们首先在公开的 OpenMMReasoner-SFT-874K 语料库上微调 Qwen3-VL-8B-Instruct 模型，获得监督微调检查点，并借鉴 OpenMMReasoner 的冷启动数据配方。我们从 17 个视觉关联来源构建了 V-Rubrics 50K 训练集（包含 50,248 个样本），通过基于规则的过滤器处理后，根据拒绝采样分数推导样本难度，并使用相同结构化提示和协议通过 Gemini-3-Pro 为每个样本添加标注。我们基于相同的监督微调检查点，使用组件级、前缀本地化的评分标准信用来训练模型。实验表明，基于评分标准的 GRPO 方法相比共享监督微调基线和仅答案 GRPO 方法均有提升，在知识导向和视觉关联推理基准上获得最大增益。结果表明评分标准是视觉后训练中有效的奖励抽象形式。

查看 arXiv 页面 (https://arxiv.org/abs/2608.25580) 查看 PDF (https://arxiv.org/pdf/2608.25580) 项目页面 (https://shulin16.github.io/v-rubrics/) GitHub4 (https://github.com/shulin16/v-rubrics) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.25580)

在您的代理中获取此论文：

hf papers read 2608.25580

未安装最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2608.25580 以从此页面链接。

引用此论文的数据集0

无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.25580 以从此页面链接。

引用此论文的 Spaces0

无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2608.25580 以从此页面链接。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加至收藏集 (https://huggingface.co/new-collection) 以从此页面链接。