论文页面 - HakushoBench：基于政府白皮书的日语图表与表格VQA基准

来源：https://huggingface.co/papers/2606.01132

摘要

研究人员创建了 HakushoBench，这是一个从政府文件中提取的日语图表与表格视觉问答基准，旨在评估视觉语言模型在理解复杂视觉数据方面的能力，其数据范围超越了英语数据集。

理解图表与表格图像对于将视觉语言模型（https://huggingface.co/papers?q=vision-language%20models）(VLM) 应用于真实的文档理解场景至关重要。尽管英语基准测试（https://huggingface.co/papers?q=benchmark）发展迅速，但非英语的同类基准仍然匮乏，导致我们不清楚这种进步是否能跨语言泛化。一个主要障碍是难以大规模收集真实且多样化的非英语图表和表格图像。为解决此问题，我们利用政府白皮书（https://huggingface.co/papers?q=governmental%20white%20papers）作为基准测试（https://huggingface.co/papers?q=benchmark）构建的可扩展数据源（超越英语），因为政府白皮书包含多种格式和领域内的自然图表与表格，并且在许多国家可以免费获取。作为首次实践，我们引入了 HakushoBench，这是一个具有挑战性的日语图表与表格 VQA 基准测试（https://huggingface.co/papers?q=benchmark），由 33 份政府白皮书（https://huggingface.co/papers?q=governmental%20white%20papers）构建而成。HakushoBench 包含 2,053 张图像，涵盖超过 10 种图像类型，并配有手动标注的问答对，旨在评估对图表和表格的深度与整体理解能力，而非仅依赖局部视觉线索。在多种 VLM 上的实验表明，HakushoBench 对于开源权重的模型仍具有挑战性：性能最佳的开源权重模型仅达到 58.6% 的准确率，而开源与专有模型之间 34.9 个百分点的差距凸显了复杂图表与表格理解（https://huggingface.co/papers?q=table%20understanding）方面仍有巨大的改进空间。我们已发布数据集和代码。

查看 arXiv 页面（https://arxiv.org/abs/2606.01132）查看 PDF（https://arxiv.org/pdf/2606.01132）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.01132）

将本文添加到您的智能体中：

hf papers read 2606.01132

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型0

没有模型链接到此论文。

请在模型 README.md 中引用 arxiv.org/abs/2606.01132，以便在此页面显示链接。

引用该论文的数据集1

llm-jp/HakushoBench 查看器 • 更新于35分钟前 • 2.05k • 144 • 1 (https://huggingface.co/datasets/llm-jp/HakushoBench)

引用该论文的 Space0

没有 Space 链接到此论文。

请在 Space README.md 中引用 arxiv.org/abs/2606.01132，以便在此页面显示链接。

包含该论文的合集1