TableVista：在视觉和结构复杂性下对多模态表格推理进行基准测试

# 在视觉和结构复杂性下对多模态表格推理进行基准测试

来源: https://arxiv.org/html/2605.05955

Zheyuan Yang¹, Liqiang Shang²*, Junjie Chen³, Xun Yang¹, Chenglong Xu¹, Bo Yuan¹, Chenyuan Jiao¹, Yaoru Sun¹†, Yilun Zhao⁴

1 同济大学
2 布里斯托大学
3 天津大学
4 耶鲁大学

###### 摘要

我们引入了 TableVista，这是一个全面的基准测试，旨在评估基础模型在视觉和结构复杂性下的多模态表格推理能力。TableVista 包含 3,000 个高质量的表格推理问题，每个实例通过我们的多风格渲染和转换管道扩展为 10 种不同的视觉变体。该过程涵盖多样化的场景风格、鲁棒性扰动以及纯视觉配置，最终形成 30,000 个多模态样本，用于多维度评估。我们对 29 个最先进的开源和专有基础模型在 TableVista 上进行了广泛评估。通过全面的定性和定量分析，我们发现，虽然评估模型在不同的渲染风格中保持 largely 稳定，但在复杂的结构布局和纯视觉设置下表现出明显的性能下降，这表明当前模型在结构复杂性与视觉整合呈现相结合时难以保持推理的一致性。这些发现突显了当前多模态能力的关键差距，为开发更鲁棒、更可靠的表格理解模型提供了见解。

**TableVista: 在视觉和结构复杂性下对多模态表格推理进行基准测试**

Zheyuan Yang¹††thanks:Equal contributions.†Correspondence to: Yaoru Sun ([email protected]), Liqiang Shang²*, Junjie Chen³, Xun Yang¹, Chenglong Xu¹, Bo Yuan¹, Chenyuan Jiao¹, Yaoru Sun¹†, Yilun Zhao⁴

1 同济大学
2 布里斯托大学
3 天津大学
4 耶鲁大学

## 1 引言

表格是各个专业领域结构化数据的基石，然而基础模型感知和推理表格的最佳方式仍然是一个未解的问题（Deng et al., 2024; Zhou et al., 2025b; Zhao et al., 2024b）。传统上，表格推理依赖于基于文本的序列化（例如 Markdown 或 HTML），但这种方法往往会破坏复杂布局中固有的丰富空间结构信息（Zhang et al., 2024; Yang et al., 2025b）。相比之下，多模态表格推理（即将表格视为视觉对象）自然保留了多级表头、合并单元格和多表对齐等复杂特征，而这些特征在原始文本字符串中经常被扭曲（Zheng et al., 2024; Zhao et al., 2024a; Zhou et al., 2025a）。这种视觉框架也更符合真实用户交互，其中表格通常作为渲染文档或界面元素出现，而不是线性化的数据。然而，当前多模态基础模型在不同视觉呈现下保持推理一致性的程度仍然研究不足，特别是在结构复杂性和真实世界扰动的情况下。

为了填补这一空白并提供对多模态表格推理的严格评估，我们引入了 TableVista，这是一个旨在在高视觉和结构复杂性条件下评估基础模型的全面基准测试。与通常依赖简单或统一表格渲染的现有数据集不同，TableVista 包含 3,000 个高质量的推理问题，每个问题通过复杂的多风格渲染和转换管道扩展为 10 种不同的视觉变体。该管道系统地引入了多样化的场景风格、鲁棒性扰动和真实世界的环境扰动，从而产生了包含 30,000 个多模态样本的大规模集合。通过提供这样的多维度评估套件，TableVista 迫使模型超越基本的 OCR 式识别，并要求在异构呈现中进行视觉感知和逻辑推理的更深层次综合。

| 基准测试 | 多模态 | 结构复杂性 | 视觉多样性与鲁棒性 | 层次结构 | 长表格 | 多场景 | 转换 | 纯视觉 |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| HiTab (Cheng et al., 2022) | ✗ | ✓ | ✗ | ✗ | – | – | – | – |
| NeedleInATable (Wang et al., 2026) | ✗ | ✓ | ✓ | ✗ | – | – | – | – |
| MMQA (Wu et al., 2025) | ✗ | ✗ | ✓ | ✓ | – | – | – | – |
| TableVQA-Bench (Kim et al., 2024) | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| MMTabQA (Mathur et al., 2024) | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ | ✗ |
| MMTab (Zheng et al., 2024) | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
| MMTBench (Titiya et al., 2025) | ✓ | ✓ | ✓ | ✗ | ✗ | ✗ | ✗ | ✗ |
| **TableVista (ours)** | **✓** | **✓** | **✓** | **✓** | **✓** | **✓** | **✓** | **✓** |

表 1: TableVista 与代表性表格理解基准测试的比较。TableVista 是第一个将多样化的结构复杂性与严格的多风格视觉鲁棒性管道相结合的基准测试。

我们对 29 个最先进的开放源码和专有基础模型进行了广泛评估。我们发现，随着结构复杂性和推理深度的增加，性能急剧下降，开源模型表现出更严重的崩溃。除了推理之外，视觉条件引入了另一种失败模式：虽然模型在渲染主题中保持稳定，但在现实世界的扰动（如碎片化布局和手机拍摄的表格）下表现脆弱，其中错误更多是由空间错位而非文本识别引起的。提示进一步揭示了明显的对比——思维链（Chain-of-Thought）大大缩小了开源和专有模型之间的差距，但在直接输出提示下，实质性差异再次出现，表明多步骤表格推理的内部化程度有限。这些发现突显了当前多模态模型的关键瓶颈，特别是它们在视觉空间中稳健地锚定结构化推理的能力。

## 2 相关工作

#### 表格推理评估

早期的表格推理评估基准主要关注纯文本序列化，解决诸如问答（Pasupat and Liang, 2015; Nan et al., 2022; Zhao et al., 2023a, b）和事实验证（Chen et al., 2020）等任务。然而，这些单模态基准忽视了视觉布局中固有的丰富空间结构。最近的基准开始纳入视觉模态。例如，TableVQA-Bench（Kim et al., 2024）和 MMTab（Zheng et al., 2024）利用合成渲染管道来评估视觉推理能力。为了考虑更丰富的表格内容和视觉元素，MMTabQA（Mathur et al., 2024）引入了对包含符号和图标的表格的知识感知推理，而 MMTBench（Titiya et al., 2025）则结合了交错的图表和图像。在特定领域，MMSci（Yang et al., 2025a）针对科学表格中的数值推理。最近，TABLETA（Alonso et al., 2026）强调了从原始网络来源渲染的表格的大规模鲁棒评估。然而，如表 1 所示，现有基准通常以固定的、理想的或单一的原始视觉状态呈现表格。它们忽视了视觉扰动下推理一致性的关键维度，即模型尽管在布局、风格或方向发生变化时仍应产生相同的答案。

#### 多模态表格推理

多模态表格理解的最新进展由多模态大语言模型（MLLMs）推动，这些模型能够对渲染的表格和其他视觉接地文档元素进行直接推理。Table-LLaVA（Zheng et al., 2024）和 TabPedia（Zhao et al., 2024a）等开创性的通用模型通过表格特定的指令调整和概念协同机制提高了性能。为了解决数据和分辨率方面的特定限制，SynTab-LLaVA（Zhou et al., 2025a）引入了去耦合成管道以有效扩展训练数据，而 MMSci（Yang et al., 2025a）采用动态输入分辨率以捕捉科学表格中的细粒度细节。最近，研究转向高级架构和推理策略。TableMoE（Zhang et al., 2025）在混合专家（MoE）框架内提出了一种神经符号路由机制，以处理结构退化的“WildStruct”表格。为了弥合模态差距，Turbo（Jiang et al., 2026）在训练期间利用特权结构化信息，从强大的推理模型（如 DeepSeek-R1（Guo et al., 2025））中蒸馏推理能力。

> **图 1:** TableVista 基准测试构建管道的概述。

## 3 TableVista 评估基准

本节详细介绍了 TableVista 基准的构建过程。该管道旨在通过将多样化的表格结构复杂性与具有挑战性的视觉转换相结合，为评估 MLLM 的表格推理能力建立一个严格的基准。图 1 提供了基准构建工作流程的概述。

### 3.1 基础集构建

我们首先通过收集和重新注释公共表格推理数据集中的样本来构建文本基础集（Base Set）。我们聘请了 12 名专业注释员（详细信息见附录 A），在最新大型语言模型（LLM）¹¹¹除非另有说明，我们在数据构建过程中默认使用 GPT-5。的辅助下重新注释这些样本。基础集构建过程如下：

> **图 2:** TableVista 样本。中间的框展示了一个需要在表格上进行计算和推理的标准问答对。（a）多场景：四种渲染风格——Web、LaTeX、Excel 和 Custom。（b）转换：四种鲁棒性扰动——Noise、Structural、Partial 和 Missing。（c）纯视觉：两种模拟真实世界拍摄的场景——Screenshot 和 Photo。

#### 数据标准化和属性标记

我们首先从 14 个主要的公共数据集（例如 WTQ（Pasupat and Liang, 2015）、HiTab（Cheng et al., 2022）、TabFact（Chen et al., 2020）、MMQA（Wu et al., 2025）、FinQA（Chen et al., 2021）等）中聚合原始记录，将它们标准化为包含表格、文本上下文、问题和答案的标准格式。对于每条记录，我们执行由四个任务组成的结构化属性标记：（1）识别表格布局属性（例如多级表头、合并单元格、复合结构）并记录维度信息，（2）根据数据多样性、关系密度和数值可计算性分配信息丰富度评分（1-5），（3）通过在查找、聚合、数值和逻辑四个维度上分配技能评分来表征每个问答对的推理需求，以及（4）计算得出答案所需的总推理步骤数。这些标签最初由 GPT-5 生成，然后注释员通过检查模型的思维链来验证每个结果，重新注释任何他们发现错误的案例。

#### 分类学和多维过滤

根据标记的属性，我们在两个维度上进行严格过滤：表格结构复杂性和 QA 推理难度。首先，我们将记录分类为五种具有明确配额的结构性类型：简单结构（标准网格）、文本混合（带有相关文本上下文）、复杂结构（带有层次表头或合并单元格）、长表格（具有较大的行或列维度）和多表场景（涉及 2-5 个相关表格）。在每个结构配额内，我们优先考虑具有最高推理潜力的样本。选择标准强调较高的表格信息丰富度评分、较高的聚合技能评分和更多的推理步骤数。通过这种分层选择过程，我们最终保留了 3,000 个高度代表性且推理密集的记录，产生了一个平衡结构多样性和推理能力的基准。

#### QA 增强

对于过滤后的样本，注释员使用双轨策略进一步增强问答对：（1）问题重述：如果原始 QA 已经满足目标推理复杂性，注释员重写问题以增加语言多样性并减少潜在污染，同时保留答案；（2）深度综合：如果原始 QA 过于简单，注释员基于表格和文本上下文编写一个新的多步骤推理问题，需要至少两个核心技能和多个逻辑跳跃。为了确保评估精度，所有答案都标准化为唯一的短词组或数字。

### 3.2 多风格视觉管道

TableVista 的主要贡献是其复杂的视觉渲染管道，该管道系统地将文本基础映射到广泛的视觉表示上，涵盖多样化的风格场景、结构和环境扰动以及统一的纯视觉配置。这种多方面的框架通过模拟结构布局、美学变化和模拟视觉退化之间的复杂相互作用，实现了对模型鲁棒性的严格评估，如图 2 所示。

#### 多场景渲染

为了捕捉实践中遇到的表格格式的多样性，我们模拟了四种反映不同数据生态系统的真实场景。Web 场景复制了维基百科中常见的标准 HTML 布局，而 LaTeX 则模仿了学术文献中发现的专业排版。Excel 场景重现了电子表格应用程序特有的密集、以网格为中心的界面。最后，Customized 场景通过从十个预定义的主题风格中采样来引入高方差视觉噪声，这些风格具有多样化的字体系列和调色板。所有场景都通过无头浏览器实例化，其中视口使用本地边界框元数据进行动态优化。这确保了 resulting 高分辨率捕获在不意外裁剪的情况下保持结构完整性。

#### 鲁棒性转换

除了风格变化外，我们还引入了一系列转换来模拟退化或复杂的条件...