论文页面 - iVGR：通过强化学习将视觉定位推理内化到多模态大语言模型中

来源：https://huggingface.co/papers/2605.31096

摘要

引入了一种名为 iVGR 的强化学习框架，旨在将视觉定位能力迁移至文本推理中，从而在推理阶段无需显式视觉定位的情况下，提升多模态语言模型的细粒度感知能力。

虽然带有视觉定位的思维链（Chain-of-Thought，CoT）已成为增强多模态大语言模型（MLLMs）细粒度感知的一种有前途的范式，但其在推理阶段的有效性仍未被充分探索。在本工作中，我们通过实验发现，在推理阶段强制使用显式物体框的视觉定位 CoT 往往比使用标准文本 CoT（即不依赖显式视觉定位的推理）表现更差。我们假设视觉定位能力可以被内化到文本 CoT 中，而强制性的显式定位会引入不必要的干扰，影响模型的主要目标——答案预测。为解决这一问题，我们提出了一种名为内化视觉定位推理（iVGR）的新颖强化学习框架，该框架将定位能力迁移至文本推理过程。我们采用双流训练策略，通过设计的一致性奖励将文本流与高质量的视觉定位流对齐，使模型在推理时无需显式定位即可准确进行定位。大量实验表明，我们的方法在细粒度基准测试中显著优于现有基线，同时保留了对工具辅助推理流程的灵活性支持。

查看 arXiv 页面（https://arxiv.org/abs/2605.31096）查看 PDF（https://arxiv.org/pdf/2605.31096）项目页面（https://visual-ai.github.io/ivgr/）GitHub4（在您的代理中获取这篇论文：https://github.com/Visual-AI/iVGR）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.31096）

hf papers read 2605\.31096

没有最新版的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2605.31096，即可在此页面中链接该论文。

引用该论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2605.31096，即可在此页面中链接该论文。

引用该论文的 Space0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2605.31096，即可在此页面中链接该论文。

包含该论文的收藏1