PUMA：一个基于文化背景的多模态理解波兰基准

# PUMA：一个基于波兰文化语境的多模态理解基准测试  
**来源：** [https://arxiv.org/html/2608.21853](https://arxiv.org/html/2608.21853)  
**作者：** Michał Perełkiewicz, Rafał Poświata, Małgorzata Grębowiec  
**所属机构：** Bartłomiej Jaworski, Izabela Woźniakowska  
**所属机构：** 国家信息处理研究所  
**地址：** al. Niepodległości 188b, 00-608 Warsaw, Poland  

###### 摘要  
大型语言模型正逐步超越纯文本处理，扩展至对图像、音频等其他模态的支持。尽管文本理解与生成已得到广泛研究，但针对英语以外其他文化和语言语境的多模态数据处理能力尚未得到全面评估。本文提出了PUMA（波兰统一多模态评估基准），这是一个包含900项手工设计任务的创新基准测试，旨在探究多模态模型在波兰文化与语言语境中的能力边界。该数据集评估了模型在文本、图像、音频及图文混排文档处理方面的文化理解与实践技能。我们对前沿的商用模型、开源权重模型及专门的小型系统进行了广泛评估，结果显示存在显著的性能差距。虽然顶级商用模型在视觉问答方面得分较高，但大多数模型在处理复杂音频或文档理解任务时仍面临挑战。我们已将评估框架开源，以推动本地化的多模态人工智能研究。  

## 1 引言  
近年来，大型语言模型的能力范围显著扩展。最初主要为文本处理与生成设计的系统，如今已逐渐支持图像、文档、音频和视频等其他模态。与此同时，它们在多种自然语言间的操作能力持续提升，对编程语言及其他形式语言的理解和生成能力也不断进步。然而，仅掌握语法、词汇或篇章结构并不足以实现完整的语言理解。许多表达的含义依赖于更广泛的文化背景：包括对历史、传统、文学、艺术、社会生活或当代流行文化的引用（21）。若缺乏对这些细微差异的理解，即使模型正确识别了文本的字面意思，也可能导致肤浅或错误的解读。因此，评估模型对文化背景的理解能力正受到越来越多的关注。近年来，已出现若干基准测试用于检验模型识别和解读文化引用的能力（53）。最初这些基准主要侧重于基于文本的任务，但随着多模态模型的发展，评估此类系统能否将语言信息与图像、文档或其他媒体相结合变得愈发重要。  

本文介绍了PUMA（波兰统一多模态评估基准）——一个包含**900项手工设计任务**的基准测试，旨在评估大型模型在波兰文化及波兰语语境下的语言与文化能力。任务涵盖三种模态：图像、音频和文档。每种模态包含三个类别，针对不同的知识领域或实践能力。基准测试既包含基于文化语境的问答任务，也包含评估多模态数据处理实际能力的任务。据我们所知，PUMA是首个在单一框架内综合评估图像、音频和文档理解能力的波兰语基准测试，并融合了文化语境任务与实际任务（如ASR、OCR和结构化信息提取）。  

我们的贡献如下：  
- 我们提出了一个新的波兰语基准测试，用于评估大型多模态模型[^1]。该数据集由标注团队手工构建，涵盖与文本、图像、音频和文档处理相关的任务。  
- 我们评估了十余种开源权重及商用多模态模型，并对超过50个其他视觉语言模型在视觉任务上进行了测试。  
- 我们比较了大型多模态模型与专门的小型模型在自动语音识别（ASR）和光学字符识别（OCR）任务上的表现。  
- 作为基准测试工作的一部分，我们开发了构建多模态问答数据集并运行评估的软件，并将该工具开源[^2]。  

图1：展示了我们基准测试中类别划分的示意图。代表九个任务类型或主题领域的类别跨越三种模态：图像、音频和文档。  

[^1]: https://huggingface.co/spaces/OPI-PIB/puma  
[^2]: https://github.com/OPI-AILab/puma-app  

## 2 相关工作  
当前针对大型语言模型的评估方法通常涵盖四大类：从选择题、数学问题及二分类/多分类等经典NLP任务的封闭式任务确定性验证（80, 19, 29），到评估开放式生成时常用的人力评估（虽成本高但契合度好）（9）或日益流行的“大模型即裁判”方法（虽可扩展但存在评估者偏差）（92, 90, 65）。此外，程序化评估应用预定义规则来精确验证特定能力，如代码执行（95）或严格指令遵循（94, 72）。然而，随着模型获得全球应用，这些基础评估范式已必然扩展至评估超越英语和西方语境的语言与文化能力。为此，涌现出多项跨文化能力评估计划：BLEnD评估多种文化和语言的日常知识（47），CulturalBench评估涵盖全球45个地区的文化知识（10），CDEval针对特定文化维度（82）。此外，SeaEval（78）和MAPS（8）侧重于验证文化推理能力。其他著名的多语言基准测试还包括CultureAtlas（15）、CultureBank（67）、CULTURE-GEN（31）和MultiNativQA（18）。  

这一转变也推动了针对特定文化的基准测试的创建，例如针对中文基础能力的FoundaBench（32）、针对阿拉伯语方言和文化的Palm（3）与AraDiCE（46），以及针对印尼地区文化的IndoCulture（30）。类似的区域特定数据集还有针对巴斯克语的BertaQA（14）、老挝语的LaoBench（16）、罗马尼亚语的RoCulturaBench（37）、用于识别韩国社会偏见的KoBBQ（25）。在波兰语方面，PLCC基准测试（13）旨在通过基于规则的方法衡量语言和文化能力。PUMA在评估QA类别时借鉴了该基准的基于规则的方法，但扩展以支持多模态。  

超越文本范畴，多模态模型的快速发展引入了需要解读文化语境多媒体的任务。多模态视觉基准如CulturalVQA（48）、SEA-VQA（76）、ALM-bench（77）和CVQA（44）测试视觉语言模型理解文化多样化内容的能力；而BLEnD-Vis（74）评估其在语言重述和视觉模态下的鲁棒性。进一步拓展范围，CUBE（26）和IndicTTI（43）验证文本生成图像的能力和偏见，CROPE（49）评估对文化概念的上下文内适应能力，MIXCUBE（27）和M5（63）等平台则考察对混合文化情境的认知。区域特定的多模态范式也平行发展，如针对中文视觉语言模型的CVLUE（83）、针对韩国文化的K-Viscuit（52）、针对豪萨语的HaVQA（51）。更广泛的音频和多模态基准测试也存在，如针对印度语言的IndicVoices（24）和针对东南亚语言的SEACrowd（35）。  

在波兰语方面，PCVB[^3]评估对波兰文化遗产、历史、地理和传统的视觉知识。由于文档有限，无法详细比较，但现有描述表明PCVB主要要求识别物体、地标、食物或人物并确定其原产国，而PUMA的任务类型更为多样。第二个用于评估波兰语视觉模型的基准测试是MMBench的波兰语版本（71）。它是一组从英语翻译成波兰语的问题集，因此侧重于通用知识而非基于波兰文化的知识。与上述基准测试相比，PUMA涵盖三种模态，并包含广泛的任务，从基于文化语境的视觉和语音问答，到特定语言的OCR和ASR任务，再到需要文档理解和结构化信息提取的实际用例。  

[^3]: https://hf.co/spaces/speakleash/Polish_Cultural_Vision_Benchmark  

## 3 PUMA  
PUMA包含**900项手工设计任务**，用于评估在图像、音频和文档方面的波兰文化与语言能力。每种模态包含三个100项任务的类别，共九个类别。其中六类使用问答形式评估知识与推理能力；其余三类测试实际技能：自动语音识别（ASR）、光学字符识别（OCR）和文档结构化提取。评估是确定性的，无需外部评判（94），这使得评估快速且在使用商用模型时成本可控。  

问题使用专为本基准开发的自定义应用程序创建。该程序作为问题数据库，允许用户搜索、添加和编辑问题，与模型集成，验证答案正确性，运行评估并查看评估日志。关于该工具的详细信息见附录I。问题创建完成后，随后进行了审查和修订阶段。为此，我们使用选定的前沿多模态模型运行了评估。标注员负责审查这些运行的日志，并就问题内容或验证标准提出任何问题，这些问题随后被讨论。此阶段的结果是移除了28个问题并替换为新问题，同时有57个问题经过了重大修改，例如重写问题提示或更改验证规则。在审查过程中持续进行了细微的编辑修正和错别字纠正。标注和验证过程详见附录H。  

### 3.1 类别  
本节描述了我们基准测试中包含的类别的范围。类别结构也如图1所示。这里提供每个类别的基本信息。详细描述，包括标注员说明和问题统计，见附录B、C和D。  

#### 3.1.1 图像类别  
**历史与文化**——该类别测试模型关于波兰历史、传统、文化遗产和习俗的知识。也包括艺术，主要是绘画、雕塑和建筑。部分问题涉及具有重要历史意义的人物或物品。  
**现代生活**——涵盖当代生活和流行文化。部分问题涉及电影、电视和互联网等现代媒体。我们还包含了与体育、当代政治和娱乐界相关的问题。文化和社会议题也在涉及范围内，前提是它们与当代话题相关。  
**地理与环境**——该类别验证模型对波兰地理的了解，包括其动植物、著名自然地标。也可能出现关于人造结构的问题。这些主要涉及基础设施、城市以及行政和社会经济问题。  

#### 3.1.2 音频类别  
**自动语音识别（ASR）**——这是一个特定类别，旨在测试模型转录语音的能力，这是一项具有重要实际意义的任务。该类别中的录音长度从约一分钟到几分钟不等。大部分是具有挑战性的样本，包含干扰、背景噪音、复杂语言或方言。  
**语音问答**——基于音频录音评估高级语音理解能力和对波兰文化背景的了解。该类别包含针对时长约一分钟到几分钟的短音频样本的问题。测试的能力范围涵盖语音理解、信息提取、识别说话者意图和情感，以及将录音内容与关于波兰的更广泛知识联系起来的能力。  
**声音与音乐问答**——该类别包含关于音频录音的问题，其主要内容不是语音，而是其他声音，如环境噪音、乐器、动物、广告歌曲以及工具和机械的声音。所有录音都与波兰相关，模型的任务是识别声音并运用更广泛的知识来解读其内容。  

#### 3.1.3 文档类别  
**光学字符识别（OCR）**——该类别评估模型将图像格式文档转换为纯文本的能力。任务大多涉及具有挑战性的情况，如手写文本或低质量扫描件。此外，部分示例包含表格。我们使用的指标验证正确提取...