现实世界中的数据分析：针对真实数据复杂性的大语言模型基准测试

# 现实世界中的数据：基于真实数据复杂性的基准测试大型语言模型
来源：https://arxiv.org/html/2607.06482
11institutetext:Fujitsu Research of America, Santa Clara CA 95054, USA
11email:shasegawa@fujitsu\.com

###### 摘要

当前用于评估大型语言模型（LLM）在数据分析领域表现的基准测试，往往难以反映真实场景。它们通常局限于从小型表格中提取事实信息，忽略了大型多表数据集、外部知识整合以及探索性洞察发现等挑战。我们推出了DataGovBench，这是一个基于政府开放数据构建的基准测试，旨在评估LLM在实际场景中的表现。该基准测试包含两个任务：**表格问答**要求解决复杂的可分解问题并生成文本答案或可视化结果；**表格洞察**则评估模型通过探索性数据分析生成专家级发现的能力。我们对现有最先进的LLM（包括使用和不使用智能体框架）进行了全面实验，结果显示这两个任务均存在显著的性能差距。这些结果表明，当前的LLM系统仍远未满足现实世界数据分析的需求。DataGovBench为推进能够回答分析性查询并从数据中发现洞察的LLM研究提供了一个具有挑战性的基准测试。代码和样例数据可在https://github.com/SoHasegawa/datagovbench获取。

## 1 引言

参见图注

**图1：** DataGovBench通过使用大规模多表数据集（附有元数据和外部知识）评估LLM及智能体在两个表格推理任务上的表现。(a) **表格问答**任务要求模型回答简单或可分解的问题，并以文本或可视化形式输出答案。(b) 相比之下，**表格洞察**任务挑战模型进行开放式探索性分析，在无特定用户查询的情况下主动生成一系列洞察和总结。

对结构化数据进行推理的能力是现代数据科学的基石，也是人工智能领域长期存在的挑战。随着大型语言模型（LLM）的出现，人类与复杂信息交互的方式发生了范式转变[openai2024gpt4technicalreport, team2023gemini, yang2025qwen3technicalreport, deepseekai2025deepseekr1incentivizingreasoningcapability]。这些模型催生了用于普及数据分析的复杂智能体，预示着这样一个未来：任何用户都可以用自然语言向数据集提问，并得到准确答案[infida-bench, su2024tablegpt2largemultimodalmodel]。最终愿景是建立一个自主系统，不仅能检索信息，还能揭示原始数据中隐藏的知识。

然而，这一愿景与现实之间仍存在显著差距，因为现有基准测试缺乏真实世界的复杂性。虽然WikiTableQuestions[wtq]和Spider[yu-etal-2018-spider]等数据集推动了语义解析和文本转SQL的研究，但它们的受控环境使用的是小规模表格。这些数据集在很大程度上忽略了实际挑战，例如表格规模巨大、需要合并多个表格，以及元数据和外部知识的重要作用。除了这些数据层面的局限性，现有的基准测试主要关注直接的事实检索[wu2025tablebench, infida-bench, zhang-etal-2025-t2r]。像问答和文本转SQL这样的任务是为了根据查询检索信息，而忽略了数据分析师所具备的主动发现洞察的能力。因此，这种以发现为导向的技能在很大程度上仍未被评估，因为很少有基准测试将洞察生成作为主要任务形式化[insight-bench, mt-raig]。

为了弥合数据真实性和任务范围这两个显著差距，我们推出了DataGovBench，这是一个从Data.gov[datagov]等公共存储库中获取的全面基准测试。我们的基准测试包含两个互补性任务：表格问答（Table QA）和表格洞察生成（Table Insight），如图1 (https://arxiv.org/html/2607.06482#S1.F1) 所示。表格问答任务评估对可分解问题（明确包含多个子问题）的事实推理能力，要求模型以文本或可视化形式给出答案。相比之下，表格洞察任务则挑战模型进行专家级的洞察推导，需要进行深入分析和发现趋势。

对于表格问答任务，我们利用LLM（辅以新颖的表格序列化方法）生成多样化的问答对语料库，然后由人工标注员进行细致验证。对于表格洞察任务，我们通过使用数据集附带的专家撰写报告作为真实标准来解决主观性问题。这一过程产生了一个新颖的基准测试，它通过将复杂的表格问答和表格洞察与多样化的数据复杂性（例如需要元数据和外部知识的大规模多表数据集）有机结合，超越了现有替代方案，详见表1 (https://arxiv.org/html/2607.06482#S1.T1)。

全面评估发现，即便是最新表现最好的LLM，即使有智能体支持，在这两个任务上准确率也很低。这些结果表明，DataGovBench抓住了真实世界的挑战。此外，我们对这两个任务提供了详细的定性分析，识别了常见的失败模式，并揭示了当前LLM智能体缺失的两项能力：对表格数据进行叙事级别的推理，以及从复杂表格中准确检索事实。

总之，我们的论文有以下三个贡献：

- • 我们推出了DataGovBench，包含多层面问答和洞察生成两个任务，并由领域专家标注了真实标准。这些任务全面处理了代表真实世界复杂性的、大规模、多表格且异构的数据集。
- • 对最先进模型的广泛评估揭示了一个关键的性能差距，即使是最佳模型在智能体支持下准确率也很低。这凸显了该基准测试的难度及其与实际挑战的一致性。
- • 我们提供了详细的定性分析和消融研究，识别了关键失败模式，为社区将重点放在基于LLM的数据分析的主要领域提供了明确指导。

**表1：** 现有表格问答和表格洞察基准测试在任务覆盖范围和数据集特性方面的比较。
## 2 DataGovBench 概述

DataGovBench是一个新颖的基准测试，旨在评估现实场景中的表格推理能力。数据来源于政府开放数据门户（例如Data.gov[datagov]、Data.gov.uk[datagovuk]），这些门户托管着官方机构公开的数据集。这些门户上的数据集反映了真实世界的复杂性，由一个或多个包含大量记录的表以及丰富的上下文信息组成。这种上下文通过元数据（如数据集的文本描述）提供，并通常辅以外部知识（如数据字典）。该基准测试旨在评估两项核心数据科学任务的表现：表格问答和表格洞察。

**表格问答：** 此任务要求模型和智能体回答包含多个子问题的简单或可分解问题。答案以文本或可视化形式提供。

**表格洞察：** 此任务挑战模型和智能体进行探索性分析，直接从表格数据中生成实质性的洞察，无需明确的用户查询。

### 2.1 基准测试构建

DataGovBench的构建包括三个阶段，如图2 (https://arxiv.org/html/2607.06482#S2.F2) 所示：1）通过系统过滤流程从开放数据门户中整理数据集；2）通过人工参与循环标注问答对；3）利用专业报告编译真实洞察。

#### 2.1.1 数据整理

鉴于在线开放数据的庞大性和分散性，系统化的收集和过滤过程至关重要。我们的流程首先识别了53个以英语为主要语言的开放数据平台（完整列表见附录表6 (https://arxiv.org/html/2607.06482#Pt0.A1.T6)）。我们从这些平台下载了所有可用数据集，然后应用了一系列过滤标准，包括至少一个覆盖超过5,000条记录的表格文件，以及带有描述性元数据以便理解数据集背景。更详细的过滤流程在附录0.A.1.2 (https://arxiv.org/html/2607.06482#Pt0.A1.SS1.SSS2) 中描述。

#### 2.1.2 问答对标注

为了在规模化构建高质量、复杂且具有挑战性的问答对的同时，减少资源密集型人工标注的需求，我们设计了一个四阶段生成流程，该流程利用LLM并结合人工参与循环验证。受先前工作[wu2025tablebench]启发，这种方法确保了多样性和正确性。具体流程如下所述。

1. 1. **问题生成**：初始阶段专注于生成多样化的候选问题池。为了引导LLM的输出，我们首先定义了八种问题类型，如附录0.A.2.1 (https://arxiv.org/html/2607.06482#Pt0.A1.SS2.SSS1) 所示。这些类型不仅包括与现有基准测试[wu2025tablebench, wu2025mmqa]共有的简单查询（例如排名、聚合），还包括复杂的可分解问题。提示词中包含表格内容、元数据中的数据集标题和描述、可用的外部知识以及指定的问题类型。使用LLM生成多样且有意义的问题需要为其提供表格内容及其值分布的代表性视图。虽然先前的工作主要关注较小的数据集，使得整个表格或前几行可以嵌入到提示词中[wu2025bench]，但在我们的基准测试中，对于包含数百万条记录的表格，我们无法应用类似方法，因为这超出了LLM上下文窗口的限制。为了应对这一挑战，我们提出了一种称为**特征类型特定表格序列化**的技术，该技术通过根据列的数据类型分别表示每一列，创建表格的紧凑但信息丰富的摘要。例如，对于分类列，我们不列出所有值，而仅提供唯一类别的集合。这种序列化是我们工作流程的核心组成部分，针对各种特征类型的逻辑详细描述见附录0.A.2.2 (https://arxiv.org/html/2607.06482#Pt0.A1.SS2.SSS2)。为了减轻生成问题中特定模型的偏差，我们采用了四种高性能LLM的集成：GPT-4o、GPT-4o-mini[openai2024gpt4ocard]、Gemini 2.0 Flash[gemini2.0]和Gemini 1.5 Pro[gemini15unlockingmutimodal]。
2. 2. **问题评分**：生成之后，候选问题进入自动评分和选择阶段。每个问题根据四个定性标准进行评估：与数据集的相关性、产生深刻或可操作性信息的潜力、足够且新颖的分析复杂性，以及用自然语言表达的清晰度。作为质量过滤的一种方法，我们要求上述四种LLM中的每一种充当评判员，基于上述标准从每个数据集生成的问题池中选择其最偏好的前5个问题。对这些选择赋予从5（最高）到1（最低）的分数。然后，将所有四个模型的分数针对每个问题汇总，得出最高可能分数20。基于该汇总分数，我们选择前10个问题进入下一阶段。
3. 3. **答案生成**：对于每个数据集的前10个问题中的每一个，提示一个LLM生成能产生正确答案的Python代码。在四个模型均执行代码后，我们衡量答案一致性，以过滤掉所有四个LLM意见一致的问题。此类情况被认为分析复杂度较低（例如单列过滤或聚合），不适合作为真实世界场景的基准测试。对生成问题的分析表明，只有6%的前一阶段问题属于此类别，表明移除它们并不会严重扭曲原始分布，如附录0.A.3 (https://arxiv.org/html/2607.06482#Pt0.A1.SS3) 所示。
4. 4. **人工验证**：剩余的候选问答对接受人工验证和完善。使用自定义开发的标注图形用户界面（如图7 (https://arxiv.org/html/2607.06482#Pt0.A1.F7) 所示），具备数据分析专业知识的人工标注员审查每个组成部分。他们的任务包括：(1) 修改自然语言问题以提高清晰度和精确性；(2) 验证、调试和完善Python代码以确保正确性和效率；(3) 验证从代码得到的最终答案。在此阶段，标注员还因定性原因过滤掉问题，例如会导致无信息量的答案、过于模糊无法给出确定答案，或需要不可用的外部知识。这一人工参与循环流程为178个数据集生成了211个精选的高质量问答对。此外，所有问题都经过重新表述，将输出格式（例如柱状图、元组列表）与问题本身分开，增强了自然性，并对问题中提及的列名进行了改写。作为最终的质量控制措施，一组未参与最初修订阶段、但具有丰富数据科学经验的标注员，通过使用不同的标注图形用户界面（如图8 (https://arxiv.org/html/2607.06482#Pt0.A1.F8) 所示）进行了结论性审查。这一步骤旨在验证最终问答对的质量和逻辑合理性，特别关注确保Python代码的健壮性并准确解答相应问题。

在问题评分阶段之后，我们总共生成了1,840个候选问题，从中精选出211个高质量的问答对，总共需要9,246次LLM调用。关于候选问题被丢弃原因的详细分类见附录0.A.3 (https://arxiv.org/html/2607.06482#Pt0.A1.SS3)。

参见图注

**图2：** DataGovBench三阶段构建过程概述
#### 2.1.3 洞察标注

为洞察生成建立真实标准本质上比问答更复杂。什么构成有意义的发现具有主观性，使达成共识变得困难，这对自动生成和评估都构成了重大挑战。为了解决这一局限性，我们采用了开放数据集附带的官方报告。这些人工撰写的文档包含了专家最初得出的关键发现和结论。我们的流程包括整理六个包含此类报告的数据集（表9 (https://arxiv.org/html/2607.06482#Pt0.A1.T9)）。然后，我们根据报告中关键发现的表示方式，系统地从每个文档中提取主要发现。如果报告以要点形式呈现洞察，我们直接将每个要点作为一个洞察。如果报告以自由文本形式表达发现，我们将报告上传到NotebookLM[notebooklm]，并提示它从结果部分提出十个洞察，然后手动验证提取的洞察质量。然后，我们将提取的洞察综合成一个独立的