波兰医学视觉问答：视觉语言模型未充分利用视觉证据

# 波兰医学视觉问答：视觉语言模型未充分利用视觉证据
来源：https://arxiv.org/html/2608.12928

Łukasz Grzybowski  
单位：ARAAI Poland  
Antoni Lasik  
单位：NASK National Research Institute  
\[0.6em\]  
Marek Kubis  
Jeremi Ignacy Kaczmarek  
单位：Poznań University of Medical Sciences  
单位：T. Marciniak Lower Silesian Specialist Hospital  
Wojciech Kusa  
单位：NASK National Research Institute  
单位：Adam Mickiewicz University  
\[0.8em\]

###### 摘要

我们构建了一个基于波兰执业资格认证考试（Polish Board Certification Examination）题目的波兰语医学视觉问答（VQA）基准。该基准包含涵盖多种医学专业和视觉领域的带图问题，以及一个纯文本问答（QA）对照集。我们评估了面向波兰语、通用开源权重以及商业化的视觉语言模型。该任务仍然具有挑战性：最佳模型在完整 VQA 集上达到 79.0% 的准确率，只有 GPT-5.6 在具有可用候选答案的子集上超过近似人类参考水平；所有其他被评估模型的性能均不如人类。为了评估视觉锚定（visual grounding），我们将完整输入与省略图像、省略问题或两者均省略的配置进行比较，并按图像重要性对问题进行分类。模型从问题文本中获得的有用信息多于从图像中获得的信息，并且在图像主导的问题上表现更差。在 QA 和 VQA 中，它们仅凭答案选项就能实现高于随机水平的准确率，这表明即使缺失关键任务组成部分，非平凡的性能也可能持续存在。

## 1 引言

大型语言模型（LLMs）近期已在多个波兰医学考试基准上得到评估，包括波兰执业资格认证考试（pol. *Państwowy Egzamin Specjalizacyjny*, PES）、医学毕业考试（pol. *Lekarski Egzamin Końcowy*, LEK）、牙科毕业考试（pol. *Lekarsko-Dentystyczny Egzamin Końcowy*, LDEK）以及相关医学测试集28 (https://arxiv.org/html/2608.12928#bib.bib10);18 (https://arxiv.org/html/2608.12928#bib.bib12);22 (https://arxiv.org/html/2608.12928#bib.bib11)。这些研究表明，现代 LLMs 能够在波兰语医学选择题上取得优异成绩，并提供了关于模型在非英语环境中如何处理专业医学知识的证据。然而，其评估方案仅限于纯文本问题。因此，包含图像的试题被排除在外，尽管视觉信息是许多真实医学任务以及某些 PES 问题的重要组成部分。这一遗漏在医学 AI 系统的评估中留下了一个重要空白。虽然视觉问答（VQA）在英语中已被广泛研究，但非英语医学 VQA 仍相对探索不足。波兰语 VQA 资源也很有限，尤其是在医学等专业领域。这是有问题的，因为模型在英语中的表现不能假定能直接迁移到波兰语，而且医学考试问题往往需要领域特定术语、临床惯例和本地考试格式的知识。因此，需要这样的基准：不仅评估波兰语中的医学知识，还评估模型将波兰语临床文本与医学图像结合起来的能力。

在这项工作中，我们评估了视觉语言模型（VLMs）在来自 PES（波兰执业资格认证考试）的带图问题上的表现。这些问题是用于寻求专科认证的医生和牙医的多项选择题。它们为多模态医学问答提供了一个具有挑战性的试验场，因为通常既需要领域知识，也需要对视觉证据的解释。重要的是，该数据集并非仅由图像是直接视觉查询核心对象的经典 VQA 示例组成。在许多情况下，图像只是更广泛临床场景的一个组成部分：问题可能包括文本患者描述、实验室或诊断背景、答案选项以及图像，例如心电图、放射扫描或临床照片。因此，该任务更适合被理解为多模态医学考试问题解答，而不是简单的图像识别或以图像为中心的 VQA。

除了衡量模型的整体准确率，我们还研究了模型从输入的不同部分获取了多少信息。已有研究表明，模型可能利用多项选择答案选项中的伪影，或者不成比例地依赖文本线索，而不是真正使用视觉证据4 (https://arxiv.org/html/2608.12928#bib.bib8);5 (https://arxiv.org/html/2608.12928#bib.bib9);3 (https://arxiv.org/html/2608.12928#bib.bib4)。为了在波兰医学考试环境中研究这个问题，我们在受控输入配置下评估模型：仅使用答案选项、使用选项与问题文本、使用选项与图像，以及使用由选项、问题文本和图像组成的完整输入。这种设置使我们能够估计答案选项、文本上下文和视觉信息的相对贡献。我们还将带图 PES 问题的性能与纯文本问答（QA）对照集（由原本不包含图像的问题组成）的性能进行了比较。这种比较使我们能够分析同一考试领域内 QA 和 VQA 风格评估之间的差异。此外，我们进行了数据污染分析，以评估模型性能是否可能受到先前接触评估问题的影响。

我们的贡献如下：

- • 我们从波兰执业资格认证考试中创建了一个带图问题数据集，作为波兰语医学多模态问题解答的基准。
- • 我们在多种输入配置下评估了 PES 问题上的视觉语言模型，这些配置分离了答案选项、问题文本和图像的影响。
- • 我们将带图 VQA 问题上的模型性能与同一考试领域中纯文本 QA 对照集上的性能进行了比较。

## 2 相关工作

### 2.1 波兰语 VQA

33 (https://arxiv.org/html/2608.12928#bib.bib1) 将 LLaVA 框架适配到波兰语，并引入了 LLaVA-Bielik 和 LLaVA-PLLuM。他们表明，翻译和过滤的多模态数据可以有效地引导波兰语 VLMs，并提供了面向波兰语的评估资源。reVISION11 (https://arxiv.org/html/2608.12928#bib.bib15) 在波兰多模态国家考试数据上评估了 VLMs，将 LLMzSzŁ21 (https://arxiv.org/html/2608.12928#bib.bib5) 中引入的基于考试的评估设置从纯文本 LLMs 扩展到视觉语言模型。PoVisLE2 (https://arxiv.org/html/2608.12928#bib.bib7) 进一步迈向面向波兰语的视觉语言评估，强调波兰语语言和文化基础。波兰语也出现在更广泛的多语言 VQA 资源中。EXAMS-V12 (https://arxiv.org/html/2608.12928#bib.bib17) 在多语言多模态考试问题中包含了波兰语，而30 (https://arxiv.org/html/2608.12928#bib.bib6) 评估了 500 个机器翻译的波兰语问题的跨语言迁移。我们的工作与上述资源不同，专注于需要结合临床文本、答案选项和医学图像的专业级波兰医学考试问题。

### 2.2 医学 VQA

英语医学 VQA 主要在放射学、病理学和生物医学图像-文本设置中得到研究。VQA-RAD23 (https://arxiv.org/html/2608.12928#bib.bib18) 引入了针对放射学图像的临床生成问题和答案，而 ImageCLEF VQA-Med 共享任务提供了一系列以放射学为重点的医学 VQA 基准19 (https://arxiv.org/html/2608.12928#bib.bib19);7 (https://arxiv.org/html/2608.12928#bib.bib20);6 (https://arxiv.org/html/2608.12928#bib.bib21);8 (https://arxiv.org/html/2608.12928#bib.bib22)。PathVQA20 (https://arxiv.org/html/2608.12928#bib.bib23) 引入了病理学图像视觉问答的新数据集和框架。最近的数据集通过视觉指令微调扩展了医学 VQA 的规模，包括 PMC-VQA37 (https://arxiv.org/html/2608.12928#bib.bib24) 和随 HuatuoGPT-Vision10 (https://arxiv.org/html/2608.12928#bib.bib25) 一起引入的 PubMedVision。非英语和多语言医学 VQA 更为有限。SLAKE 提供了带语义标签和医学知识的英汉双语医学 VQA 数据集24 (https://arxiv.org/html/2608.12928#bib.bib26)。WorldMedQA-V26 (https://arxiv.org/html/2608.12928#bib.bib27) 和 MMMED32 (https://arxiv.org/html/2608.12928#bib.bib28) 评估了多种语言的多模态医学考试问题。其他近期资源针对特定语言或领域，包括多语言伤口护理 VQA34 (https://arxiv.org/html/2608.12928#bib.bib29)、印度尼西亚语放射学 VQA35 (https://arxiv.org/html/2608.12928#bib.bib30) 和多语言血液学 VQA25 (https://arxiv.org/html/2608.12928#bib.bib31)。

### 2.3 VQA 中的偏差

VQA 基准通常包含语言或答案分布方面的捷径，使模型无需充分的视觉锚定即可正确回答。17 (https://arxiv.org/html/2608.12928#bib.bib32) 通过引入 VQA v2 解决了这个问题，该版本中相似图像与同一问题配对但答案不同，从而使视觉信号更加重要。1 (https://arxiv.org/html/2608.12928#bib.bib33) 进一步表明 VQA 模型严重依赖问题-答案先验，由此引入了 VQA-CP，这是一种训练和测试数据之间答案分布不同的分割。多项工作提出了减少此类偏差的方法，包括使用仅问题模型进行对抗性正则化31 (https://arxiv.org/html/2608.12928#bib.bib34)、对无图像即可解决的示例进行降权的 RUBi9 (https://arxiv.org/html/2608.12928#bib.bib35)，以及视觉锚定的问题编码16 (https://arxiv.org/html/2608.12928#bib.bib36)。这个问题在现代 VLMs 和医学 VQA 中也很相关。MIRAGE 表明，前沿 VLMs 即使没有图像输入，也能生成详细的视觉推理并在多模态基准上获得高分3 (https://arxiv.org/html/2608.12928#bib.bib4)。36 (https://arxiv.org/html/2608.12928#bib.bib37) 提出了反事实训练和改变先验的医学 VQA 分割，以减少对语言捷径的依赖。Med-BiasX 也针对由不平衡数据和问题捷径依赖引起的医学语言偏差38 (https://arxiv.org/html/2608.12928#bib.bib38)。这些发现促使我们采用受控输入配置，分别评估来自答案选项、问题文本、图像及其组合的性能。

## 3 数据集

### 3.1 考试背景

本工作中使用的数据集基于波兰执业资格认证考试（PES），这是面向在波兰寻求专科认证的医生和牙医的国家考试。参加 PES 的考生已经获得医学或牙科执照，并完成了要求的专科培训，包括临床实践、课程、实习以及学科特定的程序要求。考试包括书面和口头两部分。书面部分针对每个医学或牙科专科单独举行，通常包含 120 道单选题。每道题有五个答案选项，其中只有一个是正确的。大多数问题仅含文本，但也有一些附带图像。书面部分考试及格要求至少 60% 的分数。自 2022 年起，书面部分获得至少 70% 的考生可免于口头考试。与 LEK 和 LDEK 等执业考试不同，PES 的问题在考试前不会公开，这使其成为具有挑战性的专科级医学问题的合适来源。在本研究中，我们专注于 PES 的书面部分，因为它提供了具有明确正确答案的标准化选择题。这种格式可以自动评估模型预测，同时保持任务的专业级医学特征。

### 3.2 基准构建

我们从医学考试中心（Centrum Egzaminów Medycznych, CEM）网站111https://www.cem.edu.pl/收集了 PES 考试材料，涵盖 2023 年至 2026 年的考试场次。我们总共处理了 363 份考卷。我们移除了被 CEM 标记为无效或不再符合当前医学知识的问题。然后我们识别了至少包含一张图像的考卷。这产生了 116 份带有视觉材料的考卷。从这些考卷中，我们提取了所有包含图像的问题，并构建了 VQA 子集，包含 286 道带图问题。每个 VQA 项目包含问题文本、五个答案选项、正确答案、描述考试场次和专业的元数据，以及相关图像。

为了与纯文本问答进行比较，我们还构建了一个 QA 对照子集。该子集由原本不包含任何图像的 PES 问题组成。为了使 QA 子集与 VQA 子集具有可比性，我们选择了至少有 10 道带图问题的专业。对于这些专业中的每份考卷，我们抽样了 10 道纯文本问题。此过程产生了 480 道 QA 问题。VQA 和 QA 问题在各专业中的分布如表1 (https://arxiv.org/html/2608.12928#S3.T1) 所示。带图问题的分布在各医学专业中并不均匀。急诊医学贡献的 VQA 问题数量最多，其次是颌面外科、骨科和小儿心脏病学。带图问题少于 10 个的专业归入“其他专业”类别。由于 QA 子集仅针对至少 10 道 VQA 问题的专业构建，因此该分组类别中没有 QA 项目。

表 1：各医学专业的 VQA 和 QA 问题数量。VQA 问题少于 10 个的专业归为其他专业。

### 3.3 示例 PES 问题

图1 (https://arxiv.org/html/2608.12928#S3.F1) 展示了来自急诊医学 PES 问题的示例图像。该项目说明了数据集的特性：模型必须将头部计算机断层扫描（CT）中的视觉证据与答案选项中表达的医学知识结合起来。正确答案是关于所示病理的错误陈述。原始问题是波兰语；下面显示的问题和答案选项是英文翻译。

图 1：图像问题。所附图像显示一名创伤后患者的头部 CT 扫描。指出关于所示病理的**错误**陈述。

选项：
- A. 最常由脑膜中动脉破裂引起。
- B. 在典型临床表现中，最初有意识丧失，随后出现相对无症状的间歇期，即“中间清醒期”。
- C. 在此类血肿中，血液积聚在颅骨和硬脑膜之间。
- D. 特征性表现是透镜状血肿，不跨越硬脑膜附着的颅缝。
- E. 最常由大脑表面与硬脑膜静脉窦之间的桥静脉损伤引起。

正确答案：E

元数据。年份：2023，季度：春季，专业：急诊医学

## 4 评估方法

我们评估了九个开源权重和商业视觉语言模型