论文页面 - See2Think：多模态模型真的会使用中间视觉状态吗？

来源：https://huggingface.co/papers/2607.26769

作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

多模态大语言模型在推理过程中越来越多地使用草图、标注、工具和中间图像，但目前尚不清楚它们是否真正依赖这些视觉状态。现有基准的局限性既在于任务集合覆盖范围狭窄或包含部分可通过文本解决的样本，也在于评估只关注最终答案，而不诊断中间视觉状态是如何生成、渲染和使用的。我们提出 See2Think，一个统一的评估框架，包含 See2ThinkBench 和 Visual Action-of-Thought（VAoT）。See2ThinkBench 包含 1,200 个开放式、依赖视觉的问题，涵盖 12 个任务类别，涉及 2D 结构化、3D 场景和真实世界推理。VAoT 在四种受控推理设置下记录文本思考、视觉动作、渲染状态及后续推理。通过评估具有代表性的专有和开源多模态模型，我们发现视觉推理强烈依赖于模型和环境，没有任何单一设置能在所有任务中始终占优。过程分析进一步表明，模型通常会选择相关的视觉操作，而忠实渲染仍然是最明显的瓶颈，且较高的反馈采纳率并不一定转化为准确率的提升。在任务相关的损坏反馈下，模型表现出对视觉状态的行为依赖性，在受控干预中准确率下降超过 10 个百分点。

查看 arXiv 页面 (https://arxiv.org/abs/2607.26769) 查看 PDF (https://arxiv.org/pdf/2607.26769) 项目页面 (https://sgysy.github.io/seetothink/) GitHub3 (https://github.com/CSU-JPG/See2Think) 添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2607.26769)

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.26769，即可从本页链接到该模型。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.26769，即可从本页链接到该数据集。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2607.26769，即可从本页链接到该 Space。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）以从本页链接到它。