论文页面 - 结合视觉基础进行思考

来源：https://huggingface.co/papers/2606.16122

摘要

视觉基础推理将自然语言推理与视觉语言模型中的显式视觉证据定位相结合，通过可扩展的综合和强化学习技术提高了推理准确性。

视觉思考不仅听起来要合理，还应展示其证据。尽管当前的视觉语言模型（VLMs）可以生成自然语言推理轨迹，但这些轨迹往往隐去了支撑性的图像区域，使得验证困难且难以监督。我们引入了视觉基础思考这一推理过程：模型将自然语言思考与每步所用视觉证据的显式点定位或框定位交替呈现。这使得模型在用语言表达中间推理的同时，能将关键对象定位到其所指代的图像区域。为了训练这一行为，我们构建了一条可扩展的综合流水线：提取正确的视觉推理轨迹，提炼轨迹所需的视觉对象，通过基于SAM3的代理进行定位，并从生成的掩码中推导出对齐的点和框监督信号。我们进一步提出了定位感知强化学习，它将答案正确性奖励与密集的定位奖励相结合，后者用于评估生成的对象引用是否匹配正确的图像证据。在两个计数基准和四个空间推理基准上，将视觉基础思考加入Gemma3-4B-IT后，其性能持续优于原始模型和无定位思考的基线。在空间推理方面，视觉基础思考的4B模型达到甚至在某些情况下超越了同系列中Gemma3-27B-IT的性能。我们的分析表明，点定位特别适用于计数任务，而框定位在空间任务中受益于显式的定位奖励。总体而言，我们的结果显示，当VLM的中间思考与其所依据的图像区域紧密关联时，其思考效果更好。

查看arXiv页面 (https://arxiv.org/abs/2606.16122)
查看PDF (https://arxiv.org/pdf/2606.16122)
GitHub1 (https://github.com/Jun-Kai-Zhang/visually_grounded_thinking)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.16122)

在你的Agent中获取此论文：

hf papers read 2606.16122

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

无模型链接本论文

在模型README.md中引用arxiv.org/abs/2606.16122即可从本页链接到该模型。

引用本论文的数据集1

JunkaiZ/TVG 查看器• 更新于1天前 • 19.7k • 31 (https://huggingface.co/datasets/JunkaiZ/TVG)

引用本论文的Space0

无Space链接本论文

在Space README.md中引用arxiv.org/abs/2606.16122即可从本页链接到该Space。

包含本论文的收藏2