深入VLM图表阅读:从空间与深度追踪垂直条形图中的数值读取
摘要
本文研究了视觉语言模型如何通过控制反事实激活修补技术从垂直条形图中读取精确数值,揭示了内部计算机制以及Qwen和InternVL等模型之间的差异。
arXiv:2609.13745v1 公告类型:新
摘要:视觉--语言模型(VLMs)能够准确回答图表问题,但输出准确率无法显示它们如何组合证据来恢复精确数值。我们使用控制反事实激活修补技术,在Qwen2.5VL-7B-Instruct和InternVL3.5-8B中研究垂直条形图数值读取。本研究连接了三项分析:(1) 单因素结果显示,改变后的条形顶部区域比未改变的条形主体恢复更多的答案偏好,尽管包含更少的视觉标记。图例和系列相关状态也比条形几何和轴标尺状态更早失去局部可恢复性。(2) 在交接分析中,恢复从早期层的视觉图例区域转移到中间层的提示系列位置。重置提示系列状态选择性减少图例来源救援,支持其作为部分中介的作用。(3) 在因子分析中,两个模型都可以使用来自不同供体的几何和标尺状态来支持组合目标。InternVL在状态来自不同供体或单个图像时表现相似,而Qwen在不同供体时显示较低的恢复率,表明更高的上下文敏感性。总之,这些结果为定位支持精确条形数值读取的内部计算提供了初步因果证据。
查看缓存全文
缓存时间: 2026/09/15 08:41
# 深入理解VLM图表阅读:跨越空间与深度追踪垂直柱状图的数值读取 来源:https://arxiv.org/html/2609.13745 作者:Qingfu Zhu,Wanxiang Che 机构:社会计算与交互机器人研究中心,哈尔滨工业大学(中国) ###### 摘要 视觉-语言模型(VLMs)能够准确回答图表问题,但输出准确性并未揭示它们如何整合证据以获得精确数值。本研究在Qwen2.5-VL-7B-Instruct和InternVL3.5-8B模型中,通过受控的反事实激活补丁技术,研究了垂直柱状图的数值读取过程。该研究连接了三项分析:(1)单因素分析结果表明,尽管包含更少的视觉标记,但改变的柱顶区域比未改变的柱身能恢复更多的答案偏好。图例和序列相关状态也比柱几何和轴刻度状态更早丧失局部可恢复性。(2)在交接分析中,恢复作用从早期层的视觉图例区域转移到中间层的提示-序列位置。重置提示-序列状态选择性地减少了图例源的挽救作用,支持其作为部分中介的角色。(3)在因子分析中,两个模型都能利用来自不同供体的几何和刻度状态来支持组合目标。InternVL在状态来自不同供体或同一图像时表现相似,而Qwen对不同供体显示出较低的恢复率,这表明其具有更高的上下文敏感性。总而言之,这些结果为定位支持精确柱状值读取的内部计算提供了初步的因果证据。 ## 1 引言 图表通过文本、颜色、位置和几何范围来表达数值信息。近年来的视觉-语言模型(VLMs)在图表问答基准测试中表现优异。然而,仅输出准确性并不能解释它们如何恢复精确数值。为此,我们专注于读取指定垂直柱的精确整数值。提示词确定了系列和类别;图例和X轴标签将它们连接到一根柱子;柱顶提供视觉幅度;Y轴将该幅度映射到一个数字。因此我们提出三个问题:每个因素在哪里可能影响答案,图例信息是否传递到语言侧状态,以及来自不同输入的几何和刻度状态是否可以共同使用。我们使用受控的反事实激活补丁来回答这些问题。配对的图表或提示在一到两个已知因素上存在差异,并在它们的前向传递之间转移选定的激活状态。我们对完整答案序列进行评分,并测量相关答案偏好的归一化恢复程度。我们在匹配的样本上对Qwen2.5-VL-7B-Instruct和InternVL3.5-8B进行了评估。 **单因素分析**分别改变轴刻度、柱高、图例映射、X轴标签和提示目标。对于柱高,我们使用相同的图表对比较了完整的受影响柱体、其顶部附近的改变区域和未改变的柱身。在两个模型中,改变的顶部区域比未改变的柱身恢复了显著更多的答案偏好,并且恢复了大部分完整柱体的效应。在控制标记数量后,这一结果依然成立。随着深度增加,图例和序列相关状态比柱几何和轴刻度状态更早丧失其局部效应。空间扩展改变了恢复幅度,但整体深度模式变化不大。 **图例到语言的交接分析**追踪图例信息在原始图像位置变弱后的去向。局部恢复在早期层的图例区域最强,在中间层的提示-序列位置最强,在后期层的最终提示位置最强。由于仅这种排序无法证明信息传递,我们增加了一个基于保留重置的阻断测试。重置提示-序列状态会移除部分由恢复图例产生的效应,而匹配的语言和视觉对照组影响很小。这支持了提示-序列状态具有部分中介作用的观点。 **因子重组分析**测试柱几何和轴刻度是否可以在不同的前向传递中组合。在每个2×2的家族中,一个几何供体仅改变目标柱高,一个刻度供体仅改变轴刻度,而对角线图表包含两种改变。**联合交叉**补丁将来自两个不同供体的几何和刻度状态整合到一个接收器计算中;**联合连贯**从对角线图表中获取两种状态。两个模型在联合交叉条件下通常倾向于组合目标。InternVL在两种联合条件下变化很小,而当状态来自不同供体时,Qwen的恢复率较低。因此,下游计算可以共同使用分别获得的几何和刻度状态。 我们的贡献有三点: - **单因素定位**:我们分离了目标锚定、柱高、轴刻度和提示信息的局部效应,显示在改变的柱顶处有更强的数值特异性恢复,以及图例和序列相关状态更早丧失。 - **图例到语言的交接**:保留重置测试显示,提示-序列状态承载了部分由恢复视觉图例产生的效应。 - **跨因素组合**:因子干预表明,两个模型可以共同使用来自不同前向传递的柱几何和轴刻度状态,但在对供体上下文的敏感性上存在差异。 ## 2 相关工作 ##### 图表理解与诊断评估 图表问答已从FigureQA、PlotQA和ChartQA等受控基准测试,发展到包括ChartQAPro、CharXiv、ChartBench和EncQA在内的更广泛评估,更广泛的研究进一步记录了通用VLMs在图表推理方面的局限性。图表专用模型如DePlot、MatCha和UniChart改进了视觉提取和数值推理,但仅凭输出层面评估无法确定模型内部如何处理目标锚定、几何测量和刻度解释。最相关的是FUGU,它使用合成散点图、视觉编码器激活补丁和线性探测器来诊断坐标提取和视觉-语言交接瓶颈。相比之下,我们研究了垂直柱状图中成功的精确数值读取,使用组件级的图像和提示反事实,以及跨语言模型深度的几何对齐补丁,分离了柱端点幅度、轴刻度和目标绑定信息。 ##### 激活补丁与多模态可解释性 因果追踪和激活补丁在成对输入之间替换隐藏状态,并测量由此产生的模型行为变化。这些干预支持电路定位和跨深度的可用性信息比较。然而,结论可能强烈依赖于损坏输入的构造方式、使用的输出指标,以及干预目标是神经元、标记、层还是更大的组件。机制分析已越来越多地扩展到多模态模型。早期工作将因果追踪应用于BLIP以进行图像条件生成。NOTICE将非结构化高斯损坏替换为语义图像扰动和对齐的文本标记替换,使得VLMs中的因果中介实验更具可解释性。近期工作还补丁了广泛的图像、查询和输出标记状态,以区分视觉信息的直接路径和文本中介路径。我们基于这些原则,使用图表程序生成的反事实和与每个模型视觉标记网格对齐的几何推导ROI(感兴趣区域)。将原始状态插入一个其正确数值答案已改变的反事实计算中,并使用完整答案序列而非单个输出标记来测量恢复程度。我们进一步比较了严格的任意重叠映射与合并封闭空间邻域,并对单个层和连续层窗口重复进行干预。
相似文章
一颗心意味着递归:探索视觉语言模型中的视觉意义与交流
一篇研究论文探讨了视觉语言模型(VLM)如何使用和解读视觉符号,发现像红心这样的简单视觉图案可以隐式引导模型行为(例如,使其倾向于采用递归编程方案),而且模型能够发展出不同于人类惯例的创造性视觉交流策略。
WM-VLM:探查内部世界模型以实现视觉与文本交错推理
WM-VLM 论文为预训练 VLM 增加轻量级世界模型分支,通过两阶段训练生成中间视觉状态以支持语言与视觉双通道推理,在 2D/3D 心智旋转任务上较监督微调基线最高提升 39.25 个百分点。
当眼见不为实:交互式视觉定位在LVLMs中的基准测试
本文介绍了一个用于大型视觉语言模型(LVLMs)中交互式视觉定位的受控评估框架,表明当前LVLMs的表现低于人类基线,并在主动问题驱动定位方面存在困难。
@maximelabonne: 一款理解和探索 VLM 评估的便捷应用
一款共享应用,用于探索和了解视觉语言模型评估,参考了分析热门视觉基准测试的讨论串。
解锁VLM中的稠密度量深度估计
DepthVLM通过轻量级深度头和统一的视觉-文本监督增强了视觉语言模型,实现了稠密度量深度估计和改进的3D空间推理,同时保持了多模态能力。