MARDoc：面向多模态长文档问答的记忆感知精炼代理框架

# MARDoc：一种面向多模态长文档问答的记忆感知精炼代理框架 来源：https://arxiv.org/html/2606.05749

### 4.1 实验设置
我们使用两个骨干模型评估框架：Qwen3-VL-30B-A3B-Instruct¹ 和 Qwen3-VL-8B-Instruct²。初始精炼器记忆 \(M_0\) 和初始反射器指令 \(R_0\) 均设为空字符串。详细实现设置见附录A。

**基准与指标**  
我们在两个多模态长文档问答基准上实验：MMLongBench-Doc（Ma等人，2024）和DocBench（Zou等人，2025）。MMLongBench-Doc包含135个文档，平均长度47.5页，覆盖七个领域，具有多样化布局和多模态内容。包含1,082个问题，其中34%需要跨页推理。DocBench包含229个真实文档和1,102个问题，横跨五个不同领域和四大类问题。对两个基准，我们采用官方评估协议。对于MMLongBench-Doc，使用GPT-4o提取最终答案，并采用基于规则的方法计算准确率和F1分数。对于DocBench，使用官方提供的提示来引导GPT-4o作为评估器。

**基线**  
我们对比三类基线：（1）基于MLLM的方法：将文档所有页面图像馈入MLLM并直接预测答案，包括Vanilla VLM方法、DocSeeker和Docopilot。（2）基于RAG的方法：对比现有文档问答RAG框架，包括SV-RAG、VisRAG、BOOKRAG、MoLORAG、M3DocRAG和RAGAnything。（3）基于代理的方法：对比现有文档问答代理框架，包括Doc-React、MDocAgent、MACT、Chain-of-Agent、SLEUTH、DocAgent和DocDancer。所有基线的详细描述见附录B。

### 4.2 整体性能
表4报告了两个多模态长文档问答基准上的结果。基于结果，我们得出几个重要观察。基于代理的方法一致优于基于MLLM的基线和基于RAG的基线。基于MLLM的方法直接回答长文档，基于RAG的方法引入检索模块，两者均不可靠地判断问题是否可回答，且难以逻辑整合跨页信息。相反，基于代理的方法通过多步规划、工具使用和显式推理路径克服这些缺点，从而获得更高的多跳准确率。

然而，尽管现有基于代理的方法具有迭代优势，多数方法仍受限于单一上下文范式。随着交互轨迹变长，关键证据被不相关的观察结果稀释。MARDoc通过迭代的“探索-精炼-反思”周期打破单一上下文范式。在使用Qwen3-30B时，总准确率达57.1%，与使用Claude 3.5 Sonnet的DocAgent相当，而骨干模型小得多。这些发现表明MARDoc成功消除了由扩展历史上下文引起的误导噪声，表明基于压缩的结构化证据和推理记忆的方法提升了DocQA性能。

### 4.3 细粒度性能分析
我们研究按包含证据页数分类的模型性能。结果如图2所示。随着证据页数增加，MARDoc和DocAgent均出现性能下降。然而，MARDoc的下降幅度明显更小，表明结构化记忆使模型更准确地整合不同来源的信息，并在证据分散时保持更强的多跳推理能力。

图2：按证据页数分类的MMLongBench-Doc准确率。

### 4.4 消融研究
为评估每个组件的贡献，我们通过逐步移除精炼器和反射器进行消融研究。为公平比较，当两个组件都移除时，我们采用多数投票策略，选择三次推理运行中最频繁的答案作为最终结果。表2显示了不同文档类型下的性能比较。完整的MARDoc在所有文档领域均取得显著领先，验证了精炼器和反射器联合设计的有效性。值得注意的是，仅保留反射器而不带精炼器会导致性能大幅下降，甚至低于两个组件都移除的变体。这表明，没有精炼器压缩的结构化记忆，反射器无法有效识别线性累积噪声上下文中的错误。在这种情况下，过度噪声破坏了反思过程本身，严重损害了整体性能。

**表2：MMLongBench-Doc上的消融研究结果。我们报告七类文档领域的广义准确率，包括学术（Aca.）、手册（Bro.）、金融（Fin.）、指南（Gui.）、工业（Ind.）、报告（Rep.）、教程（Tut.）。最佳性能以粗体标出。**

| 方法 | 文档领域 | ACC | F1 | Aca. | Bro. | Fin. | Gui. | Ind. | Rep. | Tut. |
|------|---------|-----|----|------|------|------|------|------|------|------|
| MARDoc | 57.1 | 54.6 | 54.9 | 49.3 | 68.8 | 52.2 | 66.1 | 57.4 | 55.5 |
| 移除精炼器 | 45.9 | 42.9 | 42.3 | 44.2 | 40.0 | 45.2 | 58.0 | 46.6 | 49.5 |
| 移除精炼器与反射器 | 50.2 | 47.7 | 46.7 | 46.3 | 57.5 | 51.6 | 54.3 | 50.5 | 47.2 |

### 4.5 精炼器分析
我们进行了三项消融实验以分离每个记忆组件的贡献：消融（1）精炼器仅输出证据记忆 \(M_E\)；（2）仅输出推理记忆 \(M_R\)；（3）输出交互历史的纯文本压缩摘要，作为非结构化记忆基线。结果见表3。发现两个记忆组件具有互补作用。移除 \(M_R\) 主要降低多跳问题的性能，表明 \(M_R\) 在证据需跨多页合成时维持推理连贯性。移除 \(M_E\) 显著损害不可回答问题性能，表明 \(M_E\) 作为事实基础机制，帮助反射器区分证据不足与矛盾前提，从而减少幻觉。纯文本压缩基线在所有指标上表现最差，确认非结构化摘要保留噪声并模糊逻辑结构。总之，\(M_E\) 通过可验证源证据确保事实保真度，\(M_R\) 通过编码推理依赖确保逻辑连贯性；两者结合减轻幻觉并实现多跳推理。

**表3：精炼器结构化记忆的消融：移除 \(M_E\)、移除 \(M_R\)，或将两者替换为纯文本压缩。**

| 方法 | 证据页 | ACC | F1 | SIN | MUL | UNA |
|------|--------|-----|----|-----|-----|-----|
| MARDoc | 61.6 | 43.8 | 69.1 | 57.1 | 54.6 |
| 移除 \(M_R\) | 59.1 | 40.6 | 69.3 | 55.0 | 52.0 |
| 移除 \(M_E\) | 59.4 | 42.2 | 64.7 | 54.9 | 52.3 |
| 移除 \(M_E\) 与 \(M_R\) | 57.9 | 39.4 | 66.4 | 53.7 | 51.8 |

### 4.6 反射器分析
为理解反射器的有效性，我们检查不同最大迭代次数 \(K\) 下的模型性能，如图3所示。我们报告三种问题类型的结果：单跳、多跳和不可回答。从 \(K=1\) 到 \(K=3\)，模型在单跳和多跳问题上均持续改进。然而，当 \(K\) 增至4时，性能略有下降。我们将其归因于进一步探索轮次引入冗余信息，稀释了之前结构化的记忆，略微降低推理精度。此外，随着迭代次数增加，F1分数逐渐上升，表明反射器部分缓解了幻觉问题。

我们进一步分析指令 \(R_t\) 对性能的影响。表4呈现按证据页数分类的准确率。在消融设置中，反射器仅评估推理记忆的正确性，而不向探索器提供纠正指令。没有指令时，单跳和多跳问题性能下降，而不可回答问题性能提高。我们将其归因于当缺乏明确指导时，模型更倾向于将问题预测为不可回答。

图3：反射器代理不同最大迭代次数 \(K\) 下的性能变化。

**表4：MMLongBench-Doc上消融研究的结果。我们报告不同问题类型，包括单跳（SIN）、多跳（MUL）和不可回答（UNA）。**

| 方法 | 证据页 | ACC | F1 | SIN | MUL | UNA |
|------|--------|-----|----|-----|-----|-----|
| MARDoc | 61.6 | 43.8 | 69.1 | 57.1 | 54.6 |
| 无指令 | 56.7 | 40.8 | 69.5 | 53.9 | 50.8 |
| 变化 | ↓4.9 | ↓3.0 | ↑0.4 | ↓3.2 | ↓3.8 |

图4：关于文档处理和工具的消融研究。我们报告五类证据源的广义准确率，包括纯文本（TXT）、布局（LAY）、图表（CHA）、表格（TAB）和图形（FIG）。

### 4.7 文档处理与工具的消融研究
为验证我们大纲构建和工具设计的有效性，我们比较了MARDoc和DocAgent的文档处理流水线和工具集。对于文档解析，DocAgent使用DocXChain和PyMuPDF提取PDF内容，而MARDoc采用MinerU 2.5构建具有更细粒度语义节点的大纲。对于工具设计，DocAgent提供五个工具。我们首先将这些工具调整到新大纲结构，然后添加两个工具：get_paragraph和search_meta，以支持多粒度检索。如图4所示，我们按证据来源评估性能。用我们的大纲和工具替换DocAgent的大纲，在大多数证据来源上提升了性能：纯文本提升2.3%，布局提升1.6%，表格提升1.6%。尽管图表和图形性能略微下降1.4%，但总体准确率提升2.0%。相反，当MARDoc使用DocAgent的大纲时，性能大幅下降，特别是在布局和图形方面。我们将其归因于DocAgent较粗略的文档表示，无法有效捕获细粒度布局和视觉信息。这些结果表明，细粒度的文档表示对于基于代理的文档问答中的有效检索至关重要。

### 4.8 计算成本分析
为评估实际效率和资源开销，我们从MMLongBench-Doc中随机抽取200个样本，使用Qwen3-30B作为骨干模型进行成本分析。结果见表5。与DocAgent相比，MARDoc每个样本平均需要额外22.5k token和15.9秒延迟，同时准确率从47.1%提升至54.9%，提升7.8个百分点。这代表了一个有利的权衡：适度的额外计算换来了复杂多页文档理解准确率的显著提升，与最近测试时扩展和长思维链推理的范式一致，即对推理进行可控额外投入可获得显著更可靠的答案。

**表5：MMLongDocBench上的成本和效率比较。**

| 方法 | 平均token（k） | 平均时间（s） | ACC |
|------|--------------|-------------|-----|
| DocAgent | 100.3 | 49.4 | 47.1 |
| MARDoc | 122.8 | 65.3 | 55.9 |

## 5 结论
我们提出MARDoc，一个用于多模态长文档问答的多代理框架。MARDoc将检索、证据整理和反思解耦为三个专用代理，它们通过动态更新结构化记忆进行通信。精炼器从长交互轨迹中提取显著信息并组织成结构化证据，而反射器提供即时指令以减轻迭代检索过程中的噪声积累。在MMLongBench-Doc和DocBench上的实验表明，MARDoc取得了强劲且有竞争力的性能，验证了感知记忆的多代理协作在多模态长文档问答中的有效性。

## 局限性
尽管MARDoc在多模态长文档问答上展示了良好结果，但仍存在几个局限性需要讨论。首先，我们的代理完全通过提示工程构建，没有进行任务特定的微调。引入基于训练的优化可能进一步提升性能。其次，我们的评估仅限于Qwen3-VL模型家族。验证我们框架在不同模型架构上的泛化能力仍是一个开放方向。第三，迭代的探索-精炼-反射循环涉及多轮工具调用和LLM推理，这比单次通过方法增加了系统延迟。探索如提前停止等策略可能有助于缓解这一开销。

## 参考文献
- S. Bai, Y. Cai, R. Chen, K. Chen, X. Chen, Z. Cheng, L. Deng, W. Ding, C. Gao, C. Ge, 等. (2025) Qwen3-vl technical report. arXiv preprint arXiv:2511.21631. 引用者：第1项, §3.2, §4.1.
- J. Chen, R. Zhang, Y. Zhou, T. Yu, F. Dernoncourt, J. Gu, R. A. Rossi, C. Chen, and T. Sun (2024) SV-rag: loRA-contextualizing adaptation of mllms for long document understanding. arXiv preprint arXiv:2411.01106. 引用者：第1项, §4.1, §4.
- J. Cho, D. Mahata, O. Irsoy, Y. He, and M. Bansal (2024) M3docrag: multi-modal retrieval is what you need for multi-page multi-document understanding. arXiv preprint arXiv:2411.04952. 引用者：第1项