VLD-RAG：面向长篇幅、视觉丰富多页文档的智能视觉语言检索增强生成

# 1 引言 来源：https://arxiv.org/html/2607.24748 marginparsep 已被修改。topmargin 已被修改。marginparpush 已被修改。页面布局违反了样式。请不要修改页面布局，或引入如 geometry、savetrees 或 fullpage 等会改变布局的宏包。我们无法可靠地撤消对样式的任意更改。请移除有问题的宏包或布局修改命令，然后重试。VLD-RAG：用于长篇幅、视觉丰富多页文档的智能体式视觉-语言检索增强生成

Seonok Kim¹††¹Mazelone。通讯作者：Seonok Kim。预印本。###### 摘要

诸如报告、幻灯片和手册等视觉丰富的文档，常常将回答某个问题所需的证据分散在多个页面中，混合了文本与布局线索、表格、图表和图片。本文研究了对此类视觉丰富的长文档进行问答的多模态检索增强生成，其中检索必须选择包含文本和视觉信号的证据页面。我们提出 VLD-RAG，一个用于长文档多页证据检索和跨页推理的智能体式多模态 RAG 框架。VLD-RAG 构建了一个保留页面的多模态索引，存储解析文本、页面级元数据和密集视觉表示，并采用结合基于关键词的稀疏搜索与密集语义查询的混合检索策略，以识别候选来源和证据页面。一个验证器引导的智能体工作流协调检索智能体、答案智能体和验证智能体，以扩大证据覆盖范围、检测缺失引用，并在需要时细化检索请求。我们使用 Top-1 和 Top-5 证据页面准确率评估检索，并使用泛化准确率评估生成，结果表明 VLD-RAG 在视觉丰富的长文档基准测试（包括 LongDocURL 和 MMLongBench-Doc）上同时提升了证据页面检索和最终问答任务的性能。这些发现强调了当正确答案依赖于分散在多个页面上的证据时，协调的智能体验证和多模态混合检索对于可靠的基础事实至关重要。

多模态文档理解变得越来越重要，因为现实世界的文档经常将自然语言与丰富的视觉结构（包括表格、图表、图示和复杂布局）结合起来。虽然检索增强生成（RAG）在文本中心场景中改进了基于知识的问题回答，但标准的 RAG 流水线在处理视觉丰富的文档时常常性能下降：将页面转换为纯文本可能有损，模糊了布局语义、空间关系以及正确解释所必需的非文本线索。结果，检索和生成都可能无法将答案恰当地植根于合适的证据，特别是当所需信息分布在多个页面上时。

参考图注
图1：VLD-RAG 框架概览。该流水线通过多模态查询分解处理用户查询以提取检索意图，然后进行混合视觉-文本检索，采用模态一致性融合和可选的迭代细化。检索到的候选被传递给生成器以生成包含证据的答案；当证据缺失或置信度低时，验证可触发查询细化。

视觉-语言模型的最新进展使得能够直接在页面图像上操作的新文档理解方法成为可能。视觉优先的文档 RAG 工作线（Yu 等人，2025 (https://arxiv.org/html/2607.24748#bib.bib25)）表明，通过页面图像进行检索能比纯文本解析更好地保留视觉信息。尽管如此，现有方法仍面临关键挑战。首先，许多系统严重依赖提取的文本或 OCR 产物，这可能在视觉密集区域丢失结构信号并引入噪声。其次，有效结合词汇信号（如标识符、稀有实体、精确数字）与多模态语义相似性仍然非平凡，当模态不一致时，简单的分数融合可能脆弱。第三，长文档通常需要多步骤的证据发现，其中答案由多个分散在页面中的信息片段支持，使得单次检索不足以解决问题。

为解决这些局限性，我们提出 VLD-RAG：一个视觉-语言文档检索增强生成框架，执行迭代多模态查询以进行可靠的多页证据检索和跨页推理。VLD-RAG 引入了两个核心设计原则：(i) 我们采用双索引架构，保留互补信号：一个由密集视觉-语言嵌入表示的页面图像视觉索引，以及一个由页面的结构化 Markdown 序列化构建的文本索引。Markdown 表示保留了文档结构（如表格、图形、标题和区域边界），并在生成过程中支持证据的忠实重建。(ii) 我们引入模态一致性融合，并结合智能体式检索循环。VLD-RAG 不是将稀疏和密集检索视为可互换的，而是显式地建模两种模态何时应一致，并利用验证驱动的细化来恢复缺失证据，这建立在迭代视觉文档 RAG（Wang 等人，2025b (https://arxiv.org/html/2607.24748#bib.bib12)）和一致性感知多模态 QA（Suri 等人，2024 (https://arxiv.org/html/2607.24748#bib.bib11)）的见解之上。

具体来说，VLD-RAG 分三个阶段运行。首先，它执行多模态查询分解以产生结构化的检索意图，包括显著实体、预期的证据类型（如表格/图表/段落）以及可选的视觉锚点。其次，它通过结合稀疏词汇检索与密集多模态检索进行混合视觉-文本检索，随后进行一致性约束融合，降低显示跨模态不一致的候选的权重。当融合的证据集不足时，验证器提供细化信号，触发使用更新意图的额外检索。第三，VLD-RAG 执行基于证据的生成，将页面级证据（以及可选的区域/片段）打包到结构化的上下文中，该上下文在控制上下文长度的同时最大化基础事实，并根据检索到的证据验证生成的答案。

我们在视觉丰富的长文档基准测试（包括 LongDocURL 和 MMLongBench-Doc）上评估 VLD-RAG，并观察到在证据检索和最终问答任务上相对于基于视觉的检索基线和混合替代方案的持续提升。总之，我们的贡献是：(1) 一个视觉-语言文档 RAG 框架，具有双索引表示，通过结构化 Markdown 序列化保留视觉布局线索和精确的词汇信号；(2) 一种模态一致的混合检索策略，提高了跨模态不匹配时的鲁棒性；(3) 一个验证器引导的智能体式检索循环，实现对跨页文档问答的可靠多页证据发现。

## 2 相关工作

### 2.1 跨模态知识库

基于图的方法在多模态系统的知识检索和推理中显示出有效性。Bu 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib33)) 提出了查询驱动的多模态 GraphRAG，用于动态构建适应查询语义的局部知识图。Han 等人 (2025a (https://arxiv.org/html/2607.24748#bib.bib37)) 探索了 GraphRAG 用于基于图的检索增强生成，而 Wang 等人 (2025a (https://arxiv.org/html/2607.24748#bib.bib4)) 引入了一种基于图的知识检索和推理方法，用于 MLLM 以征服未知领域。Lu 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib27)) 利用多智能体 LLM 实现自动化的知识图谱丰富。Hong 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib16)) 开发了一个基于知识的视觉问答系统，集成了多模态处理、检索和过滤。Lin 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib23)) 提出了 MAKAR，一个基于多智能体框架的知识增强推理方法，用于基于基础事实的多模态命名实体识别。

### 2.2 多模态文档检索

跨模态检索一直是多模态文档理解的关键焦点。Fang 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib36)) 提出了 CART，一个生成式跨模态检索框架，采用由粗到细的语义建模，将生成标识符视为检索目标。Zhang 等人 (2025b (https://arxiv.org/html/2607.24748#bib.bib40)) 引入了一种通过多模态大语言模型改进通用多模态检索的方法，有效桥接模态。Sun 等人 (2025a (https://arxiv.org/html/2607.24748#bib.bib41)) 提出了 Unveil，一种统一视觉-文本集成和蒸馏的方法，用于多模态文档检索。

最近的文档理解模型显示出显著改进：Hu 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib32)) 引入了 mPLUG-DocOwl2，用于无 OCR 多页文档理解的高分辨率压缩，而 Ye 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib31)) 提出了 mPLUG-Owl3，用于多模态大语言模型中的长图像序列理解。Zhu 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib17)) 使用 InternVL3 探索了开源多模态模型的高级训练和测试时策略。Zhang 等人 (2024 (https://arxiv.org/html/2607.24748#bib.bib3)) 评估了 OCR 对检索增强生成的级联影响，表明在某些场景下 OCR 会阻碍 RAG 性能。Deng 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib28)) 引入了 LongDocURL，一个综合性的多模态长文档基准，整合了理解、推理和定位。

### 2.3 为多模态文档的检索增强生成

检索增强生成 (RAG) 的最新进展在多模态文档理解方面显示出巨大潜力。Tanaka 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib1)) 引入了 VDocRAG 用于视觉丰富的文档，Chen 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib35)) 提出了 SV-RAG，将基于 LoRA 的 MLLM 上下文适应应用于长文档理解。Yu 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib25)) 提出了 VisRAG，一个基于视觉的多模态文档 RAG 系统，Sun 等人 (2025b (https://arxiv.org/html/2607.24748#bib.bib34)) 通过引入证据引导的多图像推理将其扩展为 VisRAG 2.0。

多项工作进一步研究了长文档或多文档场景下的多模态 RAG。Shi 等人 (2026 (https://arxiv.org/html/2607.24748#bib.bib24)) 提出了 URaG，一种用于多模态 LLM 中长文档理解的统一检索和生成方法。Suri 等人 (2024 (https://arxiv.org/html/2607.24748#bib.bib11)) 开发了 VisDoM 用于具有视觉丰富元素的多文档 QA，而 Cho 等人 (2024 (https://arxiv.org/html/2607.24748#bib.bib61)) 引入了 M3DocRAG，强调了多模态检索对于多页、多文档理解的重要性。Wu 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib48)) 提出了 MoLoRAG，通过逻辑感知检索引导文档理解，展示了结构化检索信号在多模态文档中的优势。

与此同时，用于评估多模态 RAG 系统的综合基准和分析也相继出现。Li 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib8)) 引入了一个基于动态 VQA 的基准框架，Hu 等人 (2024 (https://arxiv.org/html/2607.24748#bib.bib9)) 提出了 MRAG-Bench，一个用于检索增强多模态模型的以视觉为中心的评估。Chan 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib14)) 开发了 MMU-RAGent，一个大规模用户中心基准。领域聚焦资源包括用于金融 RAG 并带有视觉引用的 FinRAGBench-V（Zhao 等人，2025 (https://arxiv.org/html/2607.24748#bib.bib13)）和用于医学视觉-语言模型的 MMed-RAG（Xia 等人，2025 (https://arxiv.org/html/2607.24748#bib.bib10)）。除了能力方面，Hao 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib2)) 研究了检索增强个性化（RAP），Zhang 等人 (2025a (https://arxiv.org/html/2607.24748#bib.bib7)) 研究了知识投毒攻击，突出了检索增强视觉-语言系统中的安全风险。

然而，当信息分布在多个页面时，现有系统通常难以实现可靠的多页证据检索，而且很少有方法显式地建模跨模态一致性或提供验证器引导的细化机制来提高检索鲁棒性。

### 2.4 视觉语言 RAG 与智能体

基于智能体的方法通过动态推理能力增强了视觉-语言 RAG 系统。Wang 等人 (2025b (https://arxiv.org/html/2607.24748#bib.bib12)) 引入了 ViDoRAG，它使用动态迭代推理智能体进行视觉文档检索增强生成。Liu 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib15)) 提出了 CadenceRAG，一种上下文感知和依赖增强的检索增强生成方法，用于整体视频理解。Biswas 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib26)) 引入了 RAVEN，一种查询引导的表示对齐方法，用于对音频、视频、嵌入式传感器和自然语言进行问答。Blau 等人 (2024 (https://arxiv.org/html/2607.24748#bib.bib39)) 开发了 GRAM，用于多页 VQA 中的全局推理。Han 等人 (2025b (https://arxiv.org/html/2607.24748#bib.bib62)) 提出了 MDocAgent，一个多模态多智能体文档理解框架，利用多个智能体进行全面文档分析。Su 等人 (2025 (https://arxiv.org/html/2607.24748#bib.bib5)) 引入了 SK-VQA，用于大规模生成合成知识以训练上下文增强的多模态 LLM。Wang 等人 (2025c (https://arxiv.org/html/2607.24748#bib.bib6)) 提出了检索增强感知，将高分辨率图像感知与视觉 RAG 结合起来。

## 3 方法

### 3.1 任务定义

我们研究视觉-语言文档检索增强生成（VLD-RAG）：给定一个视觉丰富的文档 D（一组页面图像 {p_i}_{i=1}^N，可选地带有解析和序列化内容）和一个用户查询 q，模型在检索一小部分支持的视觉/文本证据 E ⊂ D 的同时生成答案 y。与纯文本 RAG 不同，VLD-RAG 必须保留并利用布局、表格、图表和非文本视觉线索，因为解析为文本可能有损（正如视觉优先的文档 RAG 工作线（Yu 等人，2025 (https://arxiv.org/html/2607.24748#bib.bib25)）所强调的）。

### 3.2 VLD-RAG 框架概述

VLD-RAG 是一个三阶段流水线：(1) 多模态处理与查询生成产生结构化的检索意图（实体、视觉锚点、子问题）；(2) 混合视觉-文本检索与一致融合使用视觉和文本信号检索候选页面/区域，然后通过模态一致性约束融合分数；(3) 证据丰富的生成基于检索到的页面区域/片段产生回答。此设计灵感来自 (i) 针对视觉文档的迭代推理/智能体式检索（Wang 等人，2025b (https://arxiv.org/html/2607.24748#bib.bib12)）和 (ii) 多文档 VQA 中的一致性约束模态融合（Suri 等人，2024 (https://arxiv.org/html/2607.24748#bib.bib11)）。