GAVEL：有依据的描述错误验证与定位

# GAVEL：基于定位的字幕错误验证与定位
来源：https://arxiv.org/html/2606.26923

Zixian Gao Atsushi Hashimoto Kuniaki Saito
OMRON SINIC X 株式会社
\{zixian\.gao, atsushi\.hashimoto, kuniaki\.saito\}@sinicx\.com

###### 摘要

视觉-语言模型（VLM）经常产生幻觉或不一致的输出，其中文本和图像未能正确对齐。解决这一问题不仅需要检测未对齐，还要解释差异并定位其视觉证据。我们引入 GAVEL（基于定位的字幕错误验证与定位），一个联合处理图像-文本对的验证、解释和定位的任务。为了支持系统性评估，我们还提供了相应的数据集和基准。我们进一步在人工标注的训练集上训练一个监督基线，以评估 GAVEL 是否能为这些能力提供可学习的监督。实验表明，即使是强大的闭源模型在 GAVEL 上也表现困难，而监督基线在定位和解释指标上均带来持续改进。我们将在论文被接收后发布数据集和评估代码。

GAVEL：基于定位的字幕错误验证与定位
Zixian Gao Atsushi Hashimoto Kuniaki Saito
OMRON SINIC X 株式会社
\{zixian\.gao, atsushi\.hashimoto, kuniaki\.saito\}@sinicx\.com

## 1 引言

最近的视觉-语言模型（VLM）能够根据图像生成详细的文本描述 (Li et al. (2023); Chen et al. (2024); Meta.AI (2025); Wang et al. (2024b); Bai et al. (2025))，并根据文本提示合成图像 (Stability AI (2024); Deng et al. (2025))。尽管这些模型具有令人印象深刻的生成能力，但它们经常产生幻觉内容：字幕可能提及图像中不存在的物体或属性，而生成的图像也可能无法忠实反映输入文本。这种不一致性引发了对可靠性、可解释性以及下游实际应用可用性的担忧。

理解图像与文本之间的不一致性是许多视觉-语言任务背后的基本问题。图像分类、目标检测、分割和图像-文本检索都可以看作是衡量视觉证据与文本描述之间的一致性 (Radford et al. (2021); Li et al. (2022); Liang et al. (2023))。类似地，在人机交互和指令跟随中，系统必须识别文本指令是否正确地对应于观察到的视觉环境 (Shridhar et al. (2020); Kwok et al. (2026))。虽然先前的研究已经探索了幻觉检测 (Saito et al. (2026); Gunjal et al. (2024); Wada et al. (2025)) 或事实性评估，但现有的基准主要关注粗糙的正确性判断或纯文本纠正，对于为什么会出现不匹配以及它在图像中的定位原因提供的见解有限。

请参考图标题下的说明：图1：提出的GAVEL任务概览。给定一个包含不一致性的图像-文本对，目标是（1）用自然语言解释这种不一致性，以及（2）定位与不一致性相关的视觉区域。视觉证据区域以红色高亮显示。

为了应对这一限制，我们引入了 GAVEL（基于定位的字幕错误验证与定位），一个新的基准，用于基于定位的视觉-语言不一致性理解。给定一个不一致的图像-文本对，该任务要求模型：（1）用自然语言解释不一致性，（2）定位与不一致性相关的视觉区域。通过联合评估解释和定位，GAVEL 能够比以往的基准更细粒度、更可解释地分析视觉-语言对齐。

该基准具有以下几个优点。首先，它评估模型是否能识别不匹配的根本原因，而不仅仅是预测是否存在不一致性。其次，将解释定位到视觉区域提供了可解释的证据，有助于人类理解和诊断。第三，该任务自然支持实际应用，如自动字幕纠正、幻觉分析以及生成系统中的迭代优化，在这些应用中，识别具体的错误组件比粗糙的二元反馈更有用。

为了支持这一基准，我们整理了一个数据集，包含从图像到文本和文本到图像生成流程中收集的多样图像-文本不一致性。该数据集包含描述不一致性的定位注释以及相应的视觉证据，从而能够系统地评估基于定位的视觉-语言理解。此外，我们建立了 GAVEL，包括针对定位不一致性解释和定位量身定制的基准协议和评估指标。该基准联合衡量解释质量和定位性能，能够详细分析模型在识别和定位视觉-语言差异方面的能力。我们相信 GAVEL 将成为一个有价值的测试平台，用于开发更可靠、可解释且基于定位的视觉-语言系统。

我们的贡献总结如下：
- • 我们引入了 GAVEL，一个新的基于定位的视觉-语言不一致性理解基准，它同时要求差异解释和视觉定位，为未来关于可靠且可解释的视觉-语言对齐的研究奠定了基础。
- • 我们构建了一个数据集，包含从图像到文本和文本到图像生成流程中收集的多样图像-文本不一致性，以及定位注释和解释性描述。

## 2 GAVEL 数据集构建

我们的目标是构建一个数据集，其中每个实例表示为 \((I, D, E, G)\)，其中 \(I\) 表示图像，\(D\) 表示单句文本描述，\(E\) 表示描述任何图像-文本未对齐的文本解释，\(G\) 表示视觉定位信息，即边界框坐标。在本节中，我们描述数据集的构建过程并展示其统计数据。

### 2.1 数据准备

构建数据集的挑战在于如何收集产生幻觉的图像-字幕对。对于测试集，我们使用 Haldec (Saito et al. (2026)) 中的负样本对，它们提供了句子级幻觉存在性注释，其中我们使用了八种模型，包括 Qwen2 (Wang et al. (2024a))、Llama-4 (Meta.AI (2025))、LLaVA-Next (Li et al. (2024))、ShareGPT (Chen et al. (2024))、CogVLM (Wang et al. (2024b))、GPT-4o (OpenAI (2023))、Stable-Diffusion (Stability AI (2024)) 以及在 GPT 中使用的图像生成模型。

为了构建训练集，我们设计了一个半自动流程，利用 VLM 生成并选择可能的负样本图像-字幕对，然后将其发送给人工标注者进行进一步标注。数据构建过程的概述见附录。我们首先使用视觉-语言模型（VLM）或文本到图像模型生成字幕，然后将生成的图像-字幕对发送给 GPT-5 mini (OpenAI (2023)) 以评估它们的对齐程度。直觉是，对齐分数较低的对更有可能是负样本。随后，我们将这些低分对转发给人工标注者以获得完整的注释。

### 2.2 标注

给定图像-句子对，我们要求标注者：（i）在对不正确的情况下解释任何文本未对齐，（ii）提供对应于错误所在图像区域的边界框。为确保标注质量，我们采用三阶段验证过程。首先，每个句子被分配一个标注者和一个审核者，任何错误都在审核期间进行纠正。随后，额外的审核者随机抽查样本，以进一步确保注释的整体质量。

### 2.3 数据集统计

**总体统计。** 我们的人工标注训练数据集包含 30,309 张图像和 35,249 个带详细注释的句子，而测试数据集包含 2,569 张图像和 5,606 个句子。因此，训练时使用了 35,000 对，测试时使用了 5,000 对。同时，我们确认了训练数据中负样本对的生成方式效果良好，因为“无幻觉”对的比例仅为 7.3%。

**句子统计。** 每个句子平均包含 24.82 个单词，词汇表涵盖 27,173 个独特单词。

表 1：现有模型在 GAVEL 上的性能，包括视觉定位准确率和基于 LLM 的文本解释得分，按不同幻觉类别划分。文本解释得分缩放至 0–100。
| 方法 | 视觉定位 | 文本解释 (LLM 得分) |
| :--- | :---: | :---: |
| | [email protected] | [email protected] | [email protected] | Avg | Act | Attr | Color | Loc | Obj | Qty | State | Size | No hall. | Other |
| GPT-5 | 34.1 | 17.4 | 6.5 | 70 | 72 | 72 | 66 | 68 | 72 | 76 | 70 | 58 | 68 | - |
| GPT-5-mini | 32.5 | 14.7 | 4.2 | 70 | 70 | 72 | 72 | 68 | 76 | 68 | 68 | 68 | 68 | 78 |
| InternVL-3.5-VL-8B | 17.3 | 10.3 | 6.0 | 44 | 38 | 44 | 38 | 54 | 36 | 30 | 82 | 42 | - | - |
| InternVL-3.5-VL-30B | 23.5 | 15.8 | 9.4 | 52 | 48 | 54 | 48 | 60 | 48 | 50 | 40 | 76 | 52 | - |
| Qwen3-VL-8B | 15.1 | 12.1 | 9.1 | 54 | 58 | 50 | 52 | 60 | 46 | 52 | 42 | 74 | 46 | - |
| Qwen3-VL-30B | 30.8 | 22.8 | 16.4 | 62 | 66 | 60 | 64 | 60 | 70 | 52 | 66 | 58 | 64 | 52 |

请参考图标题下的说明：图 2：测试集和训练集上幻觉类型分布的概览，深色条代表训练集，浅色条代表测试集。

**边界框统计。** 平均每张图像分配 1.32 个边界框。这表明视觉定位通常集中在一个区域，而标注者经常为多个区域提供注释——例如，在物体计数出现幻觉的情况下。我们在附录中进一步可视化了边界框大小的分布。结果证实，标注的框涵盖了从小到大的区域，表明我们的任务有效评估了模型在广泛空间尺度上的定位能力。

**幻觉类别。** 图 2 展示了训练集和测试集中的幻觉类型分布。为了获得此分类，我们使用 GPT-5 根据注释的字幕错误及其相应的解释，将每个幻觉实例分类为预定义的幻觉类型 (Saito et al. (2026))。得到的分布表明，我们的测试集覆盖了多种细粒度幻觉类型，适用于稳健评估模型在字幕错误验证、解释和定位方面的能力。

**示例。** 在图 1 中，我们展示了图像、产生幻觉的字幕、未对齐描述和视觉定位的示例。附录中提供了更多示例。

## 3 实验

### 3.1 实验设置

我们将我们的方法与一组多样化的强基线进行了比较，包括不同模型规模的专有和开源视觉-语言模型。

**闭源模型。** 我们考虑了最新的最先进专有模型，包括 GPT-5 和 GPT-5-mini (Singh et al. (2025))。

**开源模型。** 我们包括了不同参数规模的多样化开源视觉-语言模型。为了进行可比规模的评估，我们考虑了两种具有代表性的 8B 模型：InternVL3.5-8B-Instruct (Wang et al. (2025)) 和 Qwen3-VL-8B-Instruct (Bai et al. (2025))。为了进一步研究规模效应，我们包括了更大的模型，如 InternVL3.5-30B-A3B-Instruct 和 Qwen3-VL-30B-A3B-Instruct。

**评估指标。** 我们使用 IoU 基准确率在阈值 0.3、0.5 和 0.7 下评估边界框预测。对于文本解释，我们使用 GPT-5 作为自动评估器，分配 0 到 5 的分数，然后乘以 20 并报告为 0–100 尺度上的平均性能及类别性能。

表 2：在人工标注数据上训练模型的有效性。

### 3.2 结果

**幻觉定位结果。** 为了评估当前多模态模型在提出的幻觉定位基准上的表现，我们在表 1 中比较了具有代表性的闭源和开源模型。该基准使用 [email protected]、[email protected] 和 [email protected] 衡量视觉定位，并使用跨幻觉类别的 LLM 得分衡量文本解释质量。结果表明，幻觉定位仍然具有挑战性。GPT-5 在 [email protected] 上表现最佳，表明其粗定位能力更强，而 Qwen3-VL-30B 在更严格的 IoU 阈值下表现最好，具有最高的 [email protected] 和 [email protected]。对于文本解释，GPT-5 获得了最高的 LLM 得分，其次是 Qwen3-VL-30B。类别级结果显示了不同幻觉类型之间的显著差异。总体而言，我们的基准为分析幻觉定位和解释质量提供了一个诊断性设置。

**训练集可学习性分析。** 我们进一步检验了训练集能否支持模型学习。使用 VisionLLM 框架 (Wang et al. (2023)) 作为基础模型，我们在训练集上对其进行微调，并在测试集上评估训练后的模型。如表 2 所示，我们报告了第 7 个 epoch 的检查点。与未经训练的基础模型相比，我们训练的模型在定位指标上实现了持续提升。这表明数据集包含了可学习且可泛化的定位信号，为未来模型开发提供了可靠的评估数据和有效的训练监督。

请参考图标题下的说明：图 3：预测边界框与真实边界框面积比值的分布。y 轴显示 \(\log_2(\mathrm{Area}(B_{pred})/\mathrm{Area}(B_{gt}))\)：0 表示面积相等，1 表示真实框面积的两倍，-1 表示真实框面积的一半。

**视觉定位的失败分析。** 我们进一步分析了视觉定位错误是否与边界框大小偏差有关。对于每个有效的预测，我们计算了 GPT-5、GPT-5 mini、Qwen3-VL-30B 和 Qwen3-VL-8B 的预测框与真实框面积比 \(\mathrm{Area}(B_{pred})/\mathrm{Area}(B_{gt})\)。图 3 显示了该比值的对数尺度分布，其中 0 表示框大小相等。大多数模型的中位数比值接近 1.00，表明没有系统性的过大或过小偏差。然而，GPT-5 mini 倾向于产生较大的框，而 Qwen3-VL-8B 更集中在真实框大小附近。结合定位准确率结果，这表明定位