论文页面 - SynthDocBench：长上下文视觉文档理解的受控基准测试

来源：https://huggingface.co/papers/2607.10400

摘要

视觉语言模型在视觉文档理解基准测试（如DocVQA、ChartQA和MMLongBench-Doc）上取得了强劲性能。然而，真实文档融合了长度、布局复杂度、模态和问题难度等多种因素，这使得将模型失败归因于特定原因变得困难。我们引入了SynthDocBench，一个完全合成的长上下文视觉文档理解基准测试，它系统性地控制了文档长度、布局结构、模态组成和问题类型等因素。该基准测试采用组合设计构建，每个因素在生成的文档中独立变化，从而能够对模型行为进行受控分析。文档通过LLM流水线端到端生成，覆盖六种布局原型，并包含40%的随机覆盖以防止模型利用虚假相关性。此外，SynthDocBench涵盖的长上下文文档在长度和结构多样性上显著优于现有基准测试。评估七个前沿视觉语言模型后，我们发现了现有基准测试无法揭示的三种失败模式：随文档长度急剧退化；系统性的位置敏感性，其中文档中间三分之一对六个模型中的五个最难，且六个模型中的五个呈现出负向的早期到后期趋势（最大降幅：8.3个百分点）；以及在长文档场景中图表理解能力的崩溃。这些结果表明，当前模型可能过度拟合基准测试的人工产物，而非实现稳健的长上下文视觉文档理解。

查看arXiv页面 (https://arxiv.org/abs/2607.10400)查看PDF (https://arxiv.org/pdf/2607.10400)GitHub1 (https://github.com/ServiceNow/SynthDocBench)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.10400)

在你的智能体中获取此论文：

hf papers read 2607.10400

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型关联此论文

请在模型README.md中引用arxiv.org/abs/2607.10400以在此页面建立关联。

引用此论文的数据集0

没有数据集关联此论文

请在数据集README.md中引用arxiv.org/abs/2607.10400以在此页面建立关联。

引用此论文的空间0

没有空间关联此论文

请在空间README.md中引用arxiv.org/abs/2607.10400以在此页面建立关联。

包含此论文的收藏集0

没有收藏集包含此论文

请将此论文添加到一个收藏集 (https://huggingface.co/new-collection)中以在此页面建立关联。