识别与解决知识型VQA基准测试的陷阱：审计、修复与增强

# 识别并解决基于知识的视觉问答基准中的陷阱：审计、修复与增强
来源：https://arxiv.org/html/2607.00159
11institutetext:伦斯勒理工学院，美国纽约州特洛伊 12047，美国
22institutetext:AT&T 首席数据办公室，美国新泽西州贝德明斯特 07921，美国
22email:\{maq5,rayees,stewart,may13\}@rpi\.edu, qw6547@att\.com###### 摘要

基于知识的视觉问答旨在评估视觉语言模型能否在视觉证据之外，检索、定位并推理外部结构化知识。实践中，答案准确率被广泛用作主要评估指标，隐含地将正确性视为知识引导推理的代理。然而，对于现有的 KB-VQA 基准，这一代理依赖于若干关键假设，这些假设常常被忽视，并且由于基准问题而变得不可靠：标注答案必须能从相关知识库中推导出来，问题必须表述得当且具有足够约束，视觉设定必须有意义地要求基于定位的消歧。在这项工作中，我们表明现有 KB-VQA 基准系统性地违反了这些假设。我们的审计揭示了大量实例存在答案缺失或矛盾、问题表述不充分的情况，使得准确率成为一种误导性指标。此外，我们发现现有数据集依赖于视觉上琐碎的、单实体场景，规避了复杂的视觉到知识映射的需要。我们证明，即使在受控架构下，这些缺陷也会导致模型排名失真和对推理能力的高估。为解决这一问题，我们提出了 (1) 一个原则性的审计与修复协议，以恢复答案的可推导性和问题的清晰度，以及 (2) 一个受控的多实体增强协议，引入视觉模糊性以挑战初始检索和基于定位的推理。在修正和增强设定下的重新评估产生了显著不同的性能趋势。我们的研究结果呼吁重新思考评估协议，并设计更多交互感知的 KB-VQA 基准，优先考虑可验证的推理而非简单的匹配。111数据集和代码可在 https://github.com/VAN-QIAN/ECCV26-ARA 获取。工作是在 Qian 在 AT&T CDO 实习期间启动的。吴琼和姚马是共同通讯作者。

## 1 引言

最近的视觉语言模型在多种视觉推理任务上展示了强大性能，尤其是在需要将图像内容与语言理解对齐的视觉问答设定中。尽管效果显著，但在答案超出视觉部分的基于知识的视觉问答等任务上，它们仍然面临挑战。KB-VQA 旨在通过检索和推理外部受控知识库，评估模型能否正确回答基于图像的问题，而非仅依赖参数化记忆，其中准确率被用于评估这种基于知识的推理能力。

新兴的努力集中于通过开发重排序模块来选择最相关和信息最丰富的证据片段用于答案生成，提高模型利用所有检索知识的内在能力，或赋予 VLM 调用外部工具以检索更相关证据的能力。大量增加的精力与资源正被投入到提升准确率分数上。

然而，在如 InfoSeek 和 E-VQA 等代表性 KB-VQA 基准中，我们观察到反复出现的数据集问题，可能使答案准确率成为预期知识引导推理能力的不可靠指标：
1. **答案-证据不匹配**。相当一部分问题的标注答案并未得到所提供的知识资源的支持（例如，缺失或矛盾）。如图 1 所示，当回答纪念公园的海拔时，期望答案是“10英尺”，而在基准提供的知识库中却缺失这一信息。
2. **问题表述不充分与答案范围模糊**。许多问题未指定期望的答案粒度，因此多个答案都可能合理。例如，对于问题“这种鸟的交配期是什么时候？”，证据可能提到一个季节（春季）、具体月份（3月-4月）或一个生命阶段（约1岁）。当多个证据支持的答案都合理时，准确率对单个特定标注答案变得敏感，从而可能低估模型的知识引导推理能力。
3. **视觉简化场景与真实世界多模态查询**。现有的 KB-VQA 基准呈现的是视觉简化的场景，主要由一个显著实体主导，因此问题通常可以利用粗略的全局线索来回答，检索可能在不显式定位到目标的情况下成功。然而，在现实场景中，用户通常会发出更复杂的多模态查询，需要文本-图像交互，即查询文本指定哪个实体是相关的（例如，通过空间关系、关系描述等），系统应在知识库检索和推理之前定位候选实体并解析目标实体。例如，一个查询可能指向“右边的鱼”，其中多个可能的实体共存，仅靠全局图像相似性是不够的。

这些问题之所以重要，是因为它们将基准分数与 KB-VQA 旨在衡量的能力脱钩。在这种条件下，高答案准确率可能由标注伪影、数据集偏差或捷径策略驱动，而非忠实于知识引导的推理。

为解决这些局限性，我们提出一个统一的修复协议和增强框架。修复协议通过证据验证、答案-来源一致性检查和有针对性的问题修复，强制执行答案的可推导性和问题的清晰度（第4节）。在修复后的基准基础上，我们进一步引入一个受控增强流水线，在保持核心问答语义的同时注入视觉干扰物，为基于定位的检索和推理创建更具挑战性的多实体设定（第5节）。

使用代表性 KB-VQA 基线重新评估表明，仅修正数据集有效性即可显著改变测量的性能和方法排名，而增强则导致检索召回率和端到端问答准确率大幅下降（第6节）。这些发现表明，当前的 KB-VQA 评估可能过于乐观，稳健的进展需要同时保证标注层面的有效性和显式定位难度。

## 2 相关工作

### 2.1 现有 KB-VQA 数据集

从通用 VQA 到 KB-VQA 的转变标志着从内部视觉感知到开放世界知识整合的转变。虽然早期的基准如 OK-VQA 和 FVQA 侧重于通用常识推理，现代数据集已扩展到大规模外部知识源以模拟更复杂的定位。同期工作如 InfoSeek 和 E-VQA 是这种大规模转变的两个主要例子。InfoSeek 引入了超过130万个样本以模拟现实意图；然而，它存在一个范式缺陷：知识库通常缺乏人类标注时使用的具体事实，导致不匹配和评估失真。E-VQA 试图通过提供一个包含200万维基百科页面、配有章节级别证据的受控语料库来解决这个问题。尽管有这些改进，这两个数据集仍严重依赖基于模板的问题生成，这通常缺乏自然查询中的语言多样性。在这两个数据集之外，后续工作 SK-VQA 声称上下文理解能力对于完成 KB-VQA 任务很重要。因此，他们构建了一个合成数据集，生成“伪”维基文章，显式训练模型在其中搜索信息。除了任务表述，先前的 KB-VQA 基准在知识源、标注和问题模板的构建方式上也存在差异。这些设计选择可能引入反复出现的问题，例如标注答案与可检索证据之间的不匹配、允许多种合理答案的表述不充分的模板，以及削弱定位消歧必要性的视觉简化场景。我们的工作基于这些基准，并对此类问题及其对评估的影响进行了结构化描述。

### 2.2 KB-VQA 的 MM-RAG 解决方案

由于 KB-VQA 问题的答案超出视觉部分且需要外部知识，大多数新兴的 KB-VQA 任务解决方案可归类为多模态检索增强生成框架，以根据多模态查询有效获取外部知识库。这些解决方案通常侧重于如何选择性地利用检索到的内容来响应查询，可分为两类：

1. **基于重排序的方法**主要侧重于从所有初始检索到的信息中挑选最相关、信息最丰富的部分，例如所有检索到的维基百科文章中与目标问题对应的章节。IBA 通过显式解耦工作流来解决此问题：在推理回答之前，通过识别来定位目标实体。它利用 MLLM 的零样本识别能力识别候选实体，然后使用轻量级文本重排序器进行精确证据选择。这种模块化工作流重设计方法与框架 EchoSight 形成对比，后者训练了一个基于 Q-Former 的自定义多模态重排序器。

2. **基于聚合/过滤的方法**侧重于消化所有检索到的信息，以隐式为下游答案生成提供证据，而非显式选择证据。ReflectiVA 引入了专门的自反性标记，允许重新训练的 MLLM 自主决定每个检索章节的必要性。所有被认为相关的章节将被聚合以支持答案生成。CoMeM 提出将所有检索到的文章压缩成嵌入，并与查询嵌入拼接以支持答案生成，作为模型记忆。在 Wiki-PRF 中，引入了强化学习，赋予 MLLM 使用不同工具进行多次检索的能力，并过滤所有检索结果以支持最终答案生成。

## 3 现有 KB-VQA 基准中的问题

答案准确率在 KB-VQA 基准上被广泛报道，但当基准实例违反基本有效性要求时，它可能变得不可靠。在整个 E-VQA 和 InfoSeek 中，我们观察到三个反复出现的数据集问题，可能直接扭曲评估：(i) 答案-证据不匹配导致不可避免的假阴性，(ii) 问题表述不充分使得多个答案都站得住脚，分数取决于单个期望的标注答案，以及 (iii) 视觉简化场景使得捷径检索可以在没有定位消歧的情况下成功。这些问题共同将基准分数与 KB-VQA 旨在衡量的知识引导检索和推理能力脱钩。我们使用三个假设——(A) 答案可推导性、(B) 问题良好定义性和 (C) 定位消歧必要性——作为组织视角，并在该框架下记录具有代表性的违反案例。

### 3.1 答案-证据不匹配

假设 (A) 要求每个标注答案都能从相关知识库证据中推导出来。我们观察到两种反复出现的违反情况：(a) **无支持的答案**，即答案在知识库中缺失（例如，InfoSeek QID 23994 为莱特兄弟国家纪念公园的海拔标注“10英尺”，而相应的证据文章根本不包含任何相关信息）；(b) **矛盾的答案**，即标注与证据冲突（例如，InfoSeek QID 5411 为迈凯伦汽车的质量标注“1,302千克”，但证据表明“它重1,301千克”——这样一个单一值无法匹配期望的范围）。

当可推导性失败时，评估会在基准提供的知识库下产生不可避免的假阴性：即使完美的检索和正确的推理也可能被判错，因为目标标注并未扎根于可检索的证据中（图1）。使用 Qwen3-30B-A3B 进行初始验证扫描每个目标实体页面并判断支持和可推导性，我们发现大约1%的 E-VQA 和22%的 InfoSeek 中存在无支持标注。这意味着 InfoSeek 中不可忽视的一部分实例在其自身提供的知识库下是无法回答的，从而在结构上限制了准确率。这种失败在 InfoSeek 中主要是结构性的：QA 对来自 WikiData 知识图谱三元组，但评估使用的是维基百科文本，造成了系统性的跨来源不匹配。

### 3.2 问题表述不充分

假设 (B) 要求每个问题都受到足够约束，使得在给定知识库下标注答案是唯一的。我们识别出三种常见歧义模式：

(1) **缺少属性约束**，例如问题“这种植物能长多大？”未指定高度或直径。
(2) **缺少时间范围**，例如“交配期是什么时候？”未指定阶段或时间粒度，则答案可能是季节（春季）或月份（9月）在一年中，或是物种生命周期中的某个阶段（如“1岁”）。
(3) **缺少空间参照或粒度**，例如对于相同问题“这种动物生活在哪个国家或地区？”，期望的栖息地答案可能是区域级别（北美洲）或国家级别（美国）。

使用这些标签，我们的审计显示59%的 E-VQA 和47%的 InfoSeek 问题是模棱两可的：E-VQA 有21.5%的属性遗漏、27.5%的空间遗漏和10%的时间遗漏；InfoSeek 呈现类似模式（17.3%、30.3%、2%）。在这种表述不充分的情况下，模型可能产生语义上有效的替代答案，但仍被判定为错误。因此，准确率变得对标注偏好敏感，而非对推理正确性敏感。这些歧义主要源于基于模板的生成和自动知识图谱到问题映射，其中关键限定符被省略。

### 3.3 单实体捷径与缺失定位消歧

假设 (C) 要求在现实场景下，成功取决于基于定位的消歧以响应复杂的多模态用户查询。理想情况下，KB-VQA 涉及四个阶段：实体定位、文本-图像定位、实体消歧和知识库检索/推理。在现实查询中（例如“左边的鱼”），模型应首先识别哪个实体被引用。然而，现有的 KB-VQA 基准通常每张图像包含一个主导实体，并针对已知目标标识符进行评估。因为目标实际上已经