论文页面 - SVR-R1：在强化学习中利用自验证引导多模态推理

来源：https://huggingface.co/papers/2607.10966

作者：

,

,

,

,

,

,

,

,

,

,

,

,

摘要

我们提出了自验证推理器（Self-Verified Reasoner, SVR-R1），这是一个多轮强化学习框架，将模型自身的验证能力转化为多模态推理的学习信号。对于每个查询，模型使用相同权重给出答案，并输出一个二进制自验证判决（Yes/No）。“No” 触发第二次机会重新思考；“Yes” 或达到轮次上限则最终确定输出，用于计算基于结果的奖励。SVR-R1 基于 GRPO 和异步多轮 rollout 框架实现，无需外部监督或辅助评判器。我们在视觉-语言推理基准上评估 SVR-R1，结果表明其准确率相比强大的标准 GRPO 基线有大幅提升。训练动态显示模型对验证的依赖逐渐降低——验证轮次减少，但测试准确率反而提高——这表明随着策略将自我纠正内化，并通过我们的框架选择最置信的答案，验证与生成之间的差距在不断缩小。SVR-R1 填补了 VLM 中推理时自我精炼与强化学习训练之间尚未被充分探索的交集，为引导多模态推理提供了一种简单而有效的方案。我们将开源 SVR-R1，以促进 VLM 领域的未来研究。

查看 arXiv 页面 (https://arxiv.org/abs/2607.10966)查看 PDF (https://arxiv.org/pdf/2607.10966)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.10966)

在您的智能体中获取这篇论文：

hf papers read 2607.10966

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.10966，以便从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.10966，以便从此页面链接。

引用此论文的 Space0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.10966，以便从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 中，以便从此页面链接。