TIGER：基于图证据路由的可追溯推理，用于减轻多模态生成中的幻觉

# TIGER：基于图证据路由的可追踪推理方法用于缓解多模态生成中的幻觉问题 来源：https://arxiv.org/html/2606.00232 Kaixiang Zhao¹ Tianrun Yu¹ Shawn Huang¹ Porter Jenkins¹ Yushun Dong² Amanda Hughes¹ ¹杨百翰大学²佛罗里达州立大学 \{kzhao2， tianruny， huang717， pjenkins， amanda_hughes\}@byu。edu yushun。dong@fsu。edu ###### 摘要 我们研究多模态生成中的事实级修复问题，其中流畅的输出可能包含输入不支持的特定事实。现有的推理时修复方法通常通过联合条件化输入和当前输出来生成反馈。这种设计有两个局限性：输出中的幻觉性声明会偏置模型对输入的解读，并且自由形式的反馈无法在事实层面上进行排序或调度。我们提出 TIGER¹，一种在推理时重新设计反馈以实现局部修复的框架。TIGER 独立地从输入中提取观察图，从当前输出中提取声明图，然后根据支持和冲突为每个声明分配一个图条件化的风险分数。模型在保持主干冻结的情况下修复选定的高风险声明。我们提供了一个收敛性分析，表明在温和假设下，期望总风险将几何级数下降到一个明确的渐近界。在四个跨模态路径（包括图像→文本、图像+文本→文本、音频→文本和视频→文本）上的实验表明，TIGER 在保持任务质量的同时减少了不支持的内容。这种优势在多个骨干网络上成立，并且 CrisisFACTS 案例研究表明，相同的修复机制可以在多源设置中改善接地性。TIGER：基于图证据路由的可追踪推理方法用于缓解多模态生成中的幻觉问题 ## 1 引言 最近统一的多模态语言模型支持跨模态生成，输入可以是文本、图像、音频和视频（Wu 等人，2024¹；Lu 等人，2024²；Team，2024³；Zhan 等人，2024⁴；Wu 等人，2025⁵；Chen 等人，2025⁶；Xu 等人，2025⁷；Deng 等人，2025⁸；Yang 等人，2026⁹）。这种能力对于内容创作、多模态决策支持、灾害响应、医疗分诊和新闻报道等应用非常有用。本文中，我们关注文本输出的事实生成，其中输入可能包含一种或多种模态。这种情况下一个关键挑战是*忠实性幻觉*，即生成的回答包含输入不支持的事实（Zhang 等人，2024b¹⁰；van Sprang 等人，2025¹¹）。回答通常流利，并且大部分内容可能是正确的，但少量特定事实可能与证据矛盾。例如，一张有两辆卡车的图像可能被描述为有三辆卡车，一座完好的桥梁可能被描述为已倒塌，或者语音中的“小雨”可能被总结为“暴风雨”。这些错误是局部的，但由于下游用户可能信任生成的内容，它们可能是有害的。第2节¹²表明这种错误可能源于联合自回归生成过程中的虚假相关性。*我们的目标是在推理时对冻结的主干网络识别并修复不支持的事实，同时保留正确的内容。* 参考图1：TIGER 概述。TIGER 首先生成初始输出，从输入和输出中提取事实图，按风险对声明进行排序，然后局部修复选定的高风险声明，同时保持主干网络冻结。带反馈的迭代修复是解决这个问题的自然方式。在这种设置中，模型通过条件化输入、当前输出和反馈信号来修改其当前输出。现有的多模态自我修正方法，包括 Volcano¹³、Woodpecker¹⁴ 和 DeGF¹⁵，都遵循这种模式；参见附录A¹⁶。然而，这些方法通过联合条件化输入和当前输出来生成反馈。这种设计产生了一个失败模式：反馈生成器看到了当前输出中的幻觉性声明，因此这些声明可以影响模型如何解读输入。结果，反馈可能认可而非标记不支持的内容（Fanous 等人，2025¹⁷；Sun 和 Wang，2026¹⁸；Li 等人，2023¹⁹）。自由形式的反馈也没有为每个声明提供显式分数，这使得在有限计算预算下难以决定应修复哪些事实。这些局限性激发了我们核心问题：*我们能否重新设计迭代式多模态修复中的反馈机制，使其减少反馈生成过程中的虚假相关性，并支持事实级调度？* 我们用 TIGER（基于图证据路由的可追踪推理）回答这个问题，这是一个用于事实级多模态修复的推理时框架。如图1所示²⁰，TIGER 分两个阶段重新设计反馈。首先，它应用*原子投影*：输入和当前输出被独立提取为结构化事实图。这种分离减少了输出中不支持声明影响模型解读输入的直接通道。其次，TIGER 通过测量每个输出声明对输入图的支持和冲突来计算一个*确定性的事实级风险*。这些分数使反馈可排序，因此 TIGER 可以选择一小部分高风险事实并进行局部修复。我们还提供了一个收敛性分析，表明在温和假设下期望总风险几何级数下降。我们在四个文本输出的跨模态生成路径上评估 TIGER：图像→文本、图像+文本→文本、音频→文本和视频→文本。主要实验使用 Qwen2.5-Omni²¹ 作为主要冻结主干网络，并在 LLaVA-1.5 和其他开源及专有骨干网络上补充了结果。在 COCO、AMBER、MMHal-Bench、Clotho 和 VideoHallucer 上，TIGER 在减少不支持声明的同时保持或提高了任务质量。在外部幻觉指标（如 CHAIR²²）上，TIGER 缓解了常见的失败模式，即修复提高了流畅性但引入了新的不支持对象。CrisisFACTS²³ 的案例研究表明，TIGER 可以从多个来源收集的嘈杂证据中改善接地情景报告。我们的贡献总结如下： - •我们识别了迭代式多模态修复中的一个反馈阶段失败模式：当反馈通过联合条件化输入和当前输出生成时，输出中的幻觉性声明可能会偏置模型对输入的解读。 - •我们提出 TIGER，一个推理时修复框架，用独立的原子投影和确定性事实级风险排序取代自由形式的联合反馈。这种设计使反馈显式、可排序，并适用于固定计算预算下的局部修复。 - •我们在四个文本输出的跨模态路径上评估 TIGER：图像→文本、图像+文本→文本、音频→文本和视频→文本。实验表明，TIGER 在减少幻觉的同时保留了任务质量，在多个骨干网络上具有泛化性，并在现实世界的危机报告案例研究中保持有效性。 ## 2 一个启发性的观察 图2²⁴（顶部）展示了一个简单的失败模式。输入图像显示一个人在水上玩滑水板，但看不到船。使用自由形式描述提示，Qwen2.5-Omni 生成了一个描述，称牵引绳系在一艘船上。使用原子枚举提示和相同的解码设置，模型将牵引绳描述为连接到一个看不见的来源，并且没有引入不存在的船。图2（底部）在分布上评估了这种效应。在四个线索到缺失对象对中，我们计算共现幻觉率（CHR），定义为当线索 a 存在时，生成中提到缺失对象 b 的比例。我们按 COCO 共现频率 P(b∣a) 对配对进行排序。自由形式生成的 CHR 高于每个配对的原子枚举，并且原子枚举将 CHR 降低了约 2.6 倍。先前工作报道了其他骨干网络上类似的由共现驱动的幻觉²⁵，这表明这种行为并非特定于一个模型。一个可能的机制是，自由形式生成将每个 token 条件于已生成的文本，因此早期的声明可以激活训练先验并导致不支持的内容²⁶。原子枚举限制模型产生简短的事实单元，减少了这种先验驱动的生成路径。 参考图2：自由形式生成与原子枚举。顶部：一个定性示例，自由形式生成添加了一个不支持的对象，而原子枚举避免了它。底部：线索到缺失对象对上的共现幻觉率（CHR）。这一观察激发了 TIGER。如果虚假相关性通过联合生成进入，那么同样依赖联合生成的反馈机制也会继承相同的偏见。下一节利用这一观察，通过独立事实提取和基于风险的修复重新设计反馈循环。 ## 3 方法论 ### 3.1 问题设定 我们考虑一个多模态到文本的生成任务，其中输入 X ∈ M_X 可以是图像、文本、音频或视频，输出 Y ∈ T 是文本。给定一个任务提示 P_gen，多模态模型 Φ 实现 Y = Φ(P_gen, X)。（1）如第2节所示²⁷，单次生成可以通过联合自回归解码将虚假相关性注入 Y。先前工作通常使用迭代修复形式：Y_0 = Φ(P_gen, X)，Y_{t+1} = Φ(P_refine, X, Y_t, F_t)，（2）其中 F_t 指示 Y_t 中需要纠正的内容。一种常见的批评然后修正的实例化，例如 Volcano，通过联合条件化输入和当前输出生成自然语言反馈：F_t = Φ(P_fb, X, Y_t)。（3）其他修正方法使用不同的基于响应的信号，例如 Woodpecker 中基于工具的视觉验证和 DeGF 中的生成式视觉反馈。然而，现有方法并未独立地从 X 构建观察图和从 Y_t 构建声明图，也未计算确定性的每个声明的风险分数。这产生了两个局限性。首先，方程 (3)²⁸ 中的批评反馈可能继承虚假相关性，因为反馈生成器观察到 Y_t，因此不支持声明可能被认可而非标记。其次，现有的反馈或修正信号不是显式的事实级风险分数，使得 argmax 或 top-K 调度难以强制执行。 ### 3.2 重新设计 F_t 我们通过两个改变来解决这些局限性，替代方程 (3)²⁹。首先，X 和 Y_t 被独立投影为事实图：G_X = Φ(P_ext, X)，G_{Y_t} = Φ(P_ext, Y_t)。（4）其次，反馈被一个图条件化的选择算子替代：F_t = Ψ_α(G_X, G_{Y_t})。（5）方程 (4)³⁰ 中的输入隔离减轻了条件化偏见，而 Ψ_α 中的 α 预算选择实现了事实级调度。方程 (2)³¹ 中的修正步骤仍然是随机的。**原子提取。** 提示 P_ext 要求 Φ 将可观察的事实枚举为三元组 (e₁, rel, e₂)，其中 e₁, e₂ 是头尾实体，rel 来自固定的关系词汇表（附录B³²）。每个事实在单个三元组的边界内生成，鼓励 Φ 在局部上下文中操作，并减少第2节中记录的共现通道³³。输入图 G_X 和输出图 G_{Y_t} 被完全独立地提取。G_X 在任何 Y 存在之前计算一次，并且保持固定，因此 Y_t 中的错误不能直接影响输入事实的提取，阻断了 (i) 背后的直接条件化路径。共享同一实体的事实通过共指边连接，因此每个图都携带节点级和边级结构。**基于风险的选择 Ψ_α。** 对于每个声明 f ∈ G_{Y_t}，Ψ_α 计算一个支持分数和一个冲突分数。两个事实之间的相似度使用冻结句子转换器³⁴计算为每个字段裁剪余弦相似度的平均值。*局部支持* s₀(f) = max_{g∈G_X} sim(f, g) 衡量在观察图中的最佳匹配。为了补偿提取遗漏，局部支持通过 G_{Y_t} 中的共指边以几何衰减传播：s(f) = max_{f'∈{f}∪N_K(f)} γ^{d(f, f')} · s₀(f')，（6）其中 N_K(f) 是 K 跳共指邻域，d(f, f') 是跳数距离，γ∈(0,1) 是衰减因子。这种传播使得关于同一实体的事实可以相互加强，减少因提取遗漏导致的假阳性。*冲突分数*衡量