EduArt：一个用于评估大语言模型艺术史知识的教育级基准

# 面向大语言模型艺术史知识评估的教育级别基准

这是一篇预印本。目前稿件正在计算人文学研究（CHR）的“计算方法与艺术”征稿中接受评审。来源：https://arxiv.org/html/2607.02007
[![未添加说明的图片](https://arxiv.org/html/2607.02007v1/x1.png)Gianmarco Spinaci](https://orcid.org/0000-0002-3504-3241) 博洛尼亚大学古典语文学与意大利研究系，意大利博洛尼亚
哈佛大学意大利文艺复兴研究中心Villa i Tatti，意大利佛罗伦萨
[email protected]
[![未添加说明的图片](https://arxiv.org/html/2607.02007v1/x2.png)Lukas Klic](https://orcid.org/0000-0002-9620-7107) 哈佛大学意大利文艺复兴研究中心Villa i Tatti，意大利佛罗伦萨
[email protected]
[![未添加说明的图片](https://arxiv.org/html/2607.02007v1/x3.png)Giovanni Colavizza](https://orcid.org/0000-0002-9806-084X) 博洛尼亚大学古典语文学与意大利研究系，意大利博洛尼亚
哥本哈根大学计算与数字人文中心，丹麦哥本哈根
[email protected]

###### 摘要

大型语言模型如今在通用基准测试中已能达到天花板性能，但这些总体指标几乎无法揭示模型在单个学科内的行为。此外，现有的艺术领域评估依赖合成生成的问题，很少报告题目层面的特性。本文提出EduArt——一个用于评估多模态大语言模型在艺术史知识与视觉推理方面的教育级别基准。EduArt包含871道由人工编写的问题，来源包括意大利中学练习和美国大学先修课程（AP）艺术史考试，覆盖两种语言和七种题型格式，从多选题到文本内词语填空和错误识别。我们对来自六个提供商家族的十二个模型进行了两种条件下的评估：默认的仅作答条件，以及需要书面理由的动机条件。基准测试使用经典测验理论（CTT）和逻辑回归（用于分离格式、语言、图像存在和模型的影响）进行了表征。该基准表现出良好的心理测量特性（平均区分度0.514，82.3%的项目为良好区分项），而六个模型在多选题上的准确率接近饱和，证实仅靠识别格式不足以区分前沿模型。题型是准确率的一个强独立预测因子：在多选题上超过94%的模型，在开放式完形填空上可能降至23.9%（Claude Opus 4.6），在错误识别上降至6.2%（Claude Sonnet 4.6）。动机条件以主要负向且依赖模型家族的方式改变了准确率。这些分离现象表明，艺术史知识与运用知识的能力是不同的能力，单一格式的基准系统性地高估了模型实际可靠完成的任务。绘制这种细粒度的能力图谱被视为负责任地将多模态大语言模型用于艺术史学术研究的前提条件，因为该领域的任务要求的是内容的生成与操作，而非从固定选项中进行选择。

*关键词* 艺术史基准⋅多模态大语言模型评估⋅视觉问答⋅心理测量学⋅文化遗产

## 1 引言

过去几年中，大型语言模型（LLM）在学术知识基准测试上取得了显著进步。在涵盖STEM和人文学科57个主题的大规模多任务语言理解（MMLU）基准测试（Hendrycks等，2021 (https://arxiv.org/html/2607.02007#bib.bib1)）中，近期模型实现了约90%的准确率（OpenAI等，2024 (https://arxiv.org/html/2607.02007#bib.bib23)；Gemini等，2025 (https://arxiv.org/html/2607.02007#bib.bib24)；Anthropic，2024 (https://arxiv.org/html/2607.02007#bib.bib25)）。随着这些任务趋于饱和，更具挑战性的基准不断涌现。MMLU-Pro通过增加选项、聚焦推理并移除琐碎问题来提高难度（Wang等，2024 (https://arxiv.org/html/2607.02007#bib.bib2)）。BIG-Bench从450位贡献者处收集了超过200项任务，涵盖生物学、物理学、数学和社会偏见，旨在挑战大语言模型（Srivastava等，2023 (https://arxiv.org/html/2607.02007#bib.bib26)）。GPQA提供了448道由领域专家编写的生物学、物理学和化学问题，由非专家和大语言模型进行测试（Rein等，2024 (https://arxiv.org/html/2607.02007#bib.bib3)）。Humanity’s Last Exam包含2500道由专家精心设计、涵盖数百个学科的问题，旨在作为最终的封闭式学术基准（Phan等，2026 (https://arxiv.org/html/2607.02007#bib.bib27)）。然而，即便如此，每个主题大约只有25道题，导致用于诊断单一学科内优势和劣势的元素代表性不足。这些通用基准在追踪模型总体进展方面发挥了重要作用，但它们存在一个结构性的权衡：广泛覆盖多个领域，却牺牲了单个领域内的诊断深度（Chang等，2024 (https://arxiv.org/html/2607.02007#bib.bib7)）。

在这些广泛评估的基础上，研究界开展了更深入的分析。这些分析尤其集中在具有重大经济和社会影响的领域。例如，在医学领域，研究表明ChatGPT在美国医学执照考试（USMLE）上的表现约为60%（未经专门训练）（Kung等，2023 (https://arxiv.org/html/2607.02007#bib.bib29)），而特定的Deepseek配置大幅超越此水平，达到93%的准确率（Siam等，2025 (https://arxiv.org/html/2607.02007#bib.bib43)）。在法律领域，GPT-4通过了美国律师资格考试——在美国执业所必需的专业执照考试（Katz等，2024 (https://arxiv.org/html/2607.02007#bib.bib35)）。LegalBench提供了一个包含162项任务的法律推理基准（Guha等，2023 (https://arxiv.org/html/2607.02007#bib.bib4)）。在科学教育领域，ScienceQA引入了多模态问题，并通过“思维链”提供教育框架（Lu等，2022 (https://arxiv.org/html/2607.02007#bib.bib6)）。这些研究凸显了一个共同点：当研究者使用特定领域的真实材料时，他们能够揭示语言模型在该学科中的独特优势和劣势，而更广泛、更通用的测试往往无法捕捉这些洞见。

### 1.1 多模态与视觉推理

在领域特定评估的同时，视觉-语言和多模态模型的出现要求扩展大语言模型评估的范围。这些模型可以超越纯文本问题接受测试，从而开启了需要跨图像和语言进行联合推理的任务。视觉问答（VQA）成为标准的评估框架，其中被测试模型会看到一张图像和一个自然语言问题，并必须生成一个同时利用两种模态的答案。早期的VQA基准，例如VQAv2 (Goyal等，2017 (https://arxiv.org/html/2607.02007#bib.bib34))，侧重于通用视觉理解，如在日常照片中识别物体、空间关系和颜色。近期的努力已显著提升了难度。MMMU引入了大学水平、多学科的问题，要求多模态推理（Yue等，2024 (https://arxiv.org/html/2607.02007#bib.bib8)）。像CVQA这样具有文化多样性的基准（Romero等，2024 (https://arxiv.org/html/2607.02007#bib.bib33)）则强调，大多数VQA数据集偏向英语和西方内容，且模型在不同场景下表现出显著的性能下降。

这些发展引出了一个更根本的问题：对于生成式模型而言，进行视觉推理意味着什么？文献显示了多种研究角度。在生成式LLM出现之前的奠基性工作，通过结合模型的感知与多步骤操作（如计数、比较和空间关系）来构建视觉推理能力的评估（Johnson等，2017 (https://arxiv.org/html/2607.02007#bib.bib36)）。另一种方法，形式化为视觉常识推理（Visual Commonsense Reasoning），将视觉推理描述为超越单纯识别的推断，需要基于提取的视觉证据的世界知识（Zellers等，2019 (https://arxiv.org/html/2607.02007#bib.bib42)）。最近的方法越来越注重分析任务本身，强调表面视觉推理与真正视觉推理之间的区别。借助基准测试MathVerse（Zhang等，2025 (https://arxiv.org/html/2607.02007#bib.bib41)），作者们测试了一组附有数学图表图像的问题。他们观察到，当逐步从问题中移除视觉信息时，模型性能往往并未如预期那样下降，这提示生成式多模态LLM常常倾向于依赖标准语言推理，从而可能错误地将语言驱动的结果归因于视觉推理。另一项研究（Tong等，2024 (https://arxiv.org/html/2607.02007#bib.bib39)）记录了空间关系、细粒度判别和计数等问题，这些失败模式在小型和大型多模态模型中持续存在，且不受参数量规模影响，表明这些失败反映了架构限制而非数据不足。综上所述，文献表明，在多模态基准上的高准确率本身并不能证明视觉推理能力，而区分真正的视觉推理与语言捷径回答需要能够约束或暴露捷径路径的评估设计。

### 1.2 文化遗产领域的视觉推理评估

这些方法论进展已将VQA确立为一种成熟的评估范式，但它们在文化遗产领域的应用仍然有限。从在专业领域的有限应用开始，文化遗产领域已开始探索面向艺术品的VQA。AQUA（Garcia等，2020 (https://arxiv.org/html/2607.02007#bib.bib30)）是第一个尝试，其问答对从绘画作品及相关文本描述中自动生成，随后经过众包清洗过程。VISCOUNTH引入了一个大规模的多语言文化遗产数据集（Becattini等，2023 (https://arxiv.org/html/2607.02007#bib.bib32)）。最近，VQArt-Bench（Alfarano等，2025 (https://arxiv.org/html/2607.02007#bib.bib11)）提出了一个通过多智能体流水线构建的语义丰富基准，并明确指出先前基准的浅层句法结构会激励模型利用统计捷径。其他研究则针对更狭窄的视觉任务，例如，(Spinaci等，2025 (https://arxiv.org/html/2607.02007#bib.bib31)) 在基督教圣徒的单标签分类上对LLM和视觉-语言模型进行了基准测试，发现前沿模型可以在精选的图像志数据集上超越有监督基线。

尽管在面向艺术的VQA方面进行了这些探索性工作，但其艺术史适用性仍存在两个重要限制。首先，这些基准中的问题主要是合成生成的。其次，它们旨在对通用模型在VQA任务上的能力进行基准测试，而非诊断艺术史知识。换言之，现有的格局要么提供狭窄的、任务特定的评估，要么提供更广泛的问答（使用合成生成的内容），但尚未出现一个基于教育的、单一艺术史评估框架内的评估。此外，现有基准未报告题目层面的特性，这使得无法确定观察到的模型失败是反映真正的知识缺口、任务格式敏感性，还是题目构造不佳。

### 1.3 教育材料与经典测验理论

艺术史为模型评估提供了一个特别有趣的案例，因为它结合了通用基准无法完全隔离的多个挑战。首先，它本质上是多模态的，因为理解和分析艺术品需要检测视觉特征（构图、色彩、技巧等）。其次，它跨越不同的认知层次，从简单的事实回忆（识别风格或技法）到解释性推理（从视觉证据中解读象征意义）。第三，它提出了一个独特的认识论挑战。教育级别的艺术史问题有经专业教育者和考试委员会验证的公认正确答案，而专家级问题常常存在真正的争议，关于归属的讨论往往无法达成一致。因此，教育级别基准在测试一定范围的知识和推理的同时，仍能提供可验证的正确答案。

除了总体准确率之外，近期研究已开始将教育测量中的心理测量学框架应用于LLM基准测试，例如经典测验理论（CTT），该理论从两个维度表征题目：难度（回答正确的受试者比例）和区分度（题目表现与总分的点二列相关）。CTT提供了一种诊断哪些题目能有效区分强模型和弱模型的方法。项目反应理论（IRT）在前述框架的基础上进一步扩展，通过建模正确响应概率作为考生能力与题目参数（包括猜测参数）的函数。已有研究证明，即使从MMLU等基准中精心挑选一小部分题目，仍能恢复与原始基准相似的总体表现，这表明一旦基准饱和，大多数题目贡献的诊断信号甚微（Polo等，2024 (https://arxiv.org/html/2607.02007#bib.bib38)）。IRT也被用于提供超越准确率的基准效度细粒度视图，通过表征题目和模型家族（Zhou等，2026 (https://arxiv.org/html/2607.02007#bib.bib37)）。

基于这些考虑，我们提出EduArt——一个教育级别的艺术史基准，旨在回答以下研究问题：
RQ1：教育级别的基准能否构成评估多模态大语言模型在艺术史知识与视觉推理方面的有效工具？题目层面的特征揭示了哪些难度来源？
RQ2：题型在多大程度上独立影响所测量的性能？换言之，在多选题上表现出强艺术史知识的模型，在通过其他格式（如真假判断题、文本内词语填空、错误识别）进行测试时，能否保持同样表现？
RQ3：要求模型为其答案提供动机（理由）如何影响准确率？这种效应是否在不同模型家族和问题类型之间存在系统性差异？

## 2 方法

本节描述为解决上述三个研究问题所采用的方法。涵盖基准数据集的构建与组成、用于从异质来源收集和标准化问题的提取流水线、模型选择与评估框架，以及用于评估性能的指标。

### 2.1 问题