论文页面 - 看见还是知道？多模态大语言模型中的视觉上下文敏感性

来源：https://huggingface.co/papers/2607.26326

摘要

多模态大语言模型（MLLMs）通过将视觉输入与预训练语言模型的丰富先验知识相结合，取得了强劲的性能。然而，它们在以视觉为中心的任务上常常失败，尤其是当视觉证据与预训练知识相冲突时。我们通过两种诊断范式分别探究这些失败：(1) 通过图像重建来探测视觉信息是否可用；(2) 测量多模态上下文敏感性，即模型遵循视觉上下文而非语言先验的程度。为支持后者，我们引入了 WhatIfVis，一个涵盖五个粗粒度维度（时空、颜色、数量、大小和重量）的基准，其问题可从图像或先验知识中得到答案。我们的分析得出三个发现：(i) 粗粒度视觉证据得以保留，因为这些属性可以从冻结的 MLLMs 的最终层图像 token 中重建出来。因此，在关于这些属性的问题上的失败指向了感知后的利用问题，而非感知过程中的视觉编码退化。(ii) 即使明确指示使用或忽略视觉证据，普通模型（未在 WhatIfVis 上进行监督微调）也表现出不稳定的视觉上下文敏感性。监督微调（SFT）改善了这一可控性并能跨领域泛化，而激活修补进一步将所有六个模型中视觉与先验的权衡定位在架构特定的层深。(iii) 视觉与先验的权衡可沿学习到的向量进行控制。即使没有意图指令，应用这种引导向量也能提高普通模型的可控性。综合来看，这些结果重新定位了瓶颈所在，表明对于我们研究的粗粒度属性，MLLMs 编码了视觉证据，但无法可靠地控制对其的依赖程度。

查看 arXiv 页面 (https://arxiv.org/abs/2607.26326) 查看 PDF (https://arxiv.org/pdf/2607.26326) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.26326)

在你的 agent 中获取此论文：

hf papers read 2607\.26326

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.26326 即可从此页面链接它。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.26326 即可从此页面链接它。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2607.26326 即可从此页面链接它。

包含此论文的收藏 0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从此页面链接它。