Blind-Spots-Bench：评估多模态模型中的盲点

# Blind-Spots-Bench：评估多模态模型中的盲点
来源：https://arxiv.org/html/2607.08317
Matteo Santelmo¹¹¹footnotemark:1¹, Xiuying Wei¹¹¹footnotemark:1, Israa Fakih¹¹¹footnotemark:1, Felix Bauer¹¹¹footnotemark:1, Juan Garcia Giraldo¹¹¹footnotemark:1, Chengkun Li¹¹¹footnotemark:1, Etienne Bamas²²²footnotemark:2, Emmanuel Abbé²²²footnotemark:2
¹瑞士洛桑联邦理工学院 (EPFL)。同等贡献。通讯作者：。Matteo 主导评估，Xiuying 主导数据集清洗与标注。剑标†表示指导角色。

###### 摘要
现代 AI 模型在许多成熟基准上表现强劲，但在人类看来几乎微不足道的任务上仍然失败，例如操作字符串或画一只五条腿的狗。这些例子表明现有基准可能低估了当前系统中的持久盲点。我们提出 blind-spots-bench，这是一个旨在通过那些对人类简单但对现代 AI 仍具挑战性的任务来暴露此类盲点的基准。我们从 AI 课程的学生中收集原始问题，进行清洗并用结构化参考答案进行标注，并针对包含 235 个样本的最终数据集提出一个任务分类体系。我们进一步开发了一个自动评分流程，以评估多种模型，包括开源权重和闭源的语言、视觉语言和图像生成模型。我们对 blind-spots-bench 的分析表明，闭源前沿模型可显著优于开源权重模型，差距甚至约≈10%，即便他们在现有基准上表现相当。更细粒度的分析显示，没有单一模型在所有任务类型中占据主导，且某些任务对所有已评估模型仍具有挑战性。这些结果凸显了 blind-spots-bench 作为诊断性压力测试的价值，可用于识别当前现代模型中的具体弱点。参考标题图 1：左图：在 blind-spots-bench 上的准确率 vs. 纯文本问题的人工分析智能指数得分。右图：四个 VLM 模型在若干子任务上的性能。

## 1 引言
大语言模型（LLMs）和多模态模型的快速崛起，在数学、编码、推理和视觉等广泛任务上表现强劲。最近的前沿模型[10 (https://arxiv.org/html/2607.08317#bib.bib58),38 (https://arxiv.org/html/2607.08317#bib.bib67),16 (https://arxiv.org/html/2607.08317#bib.bib63)]取得了令人瞩目的成果，常常几乎饱和了几个精心设计的基准[40 (https://arxiv.org/html/2607.08317#bib.bib80),47 (https://arxiv.org/html/2607.08317#bib.bib82),6 (https://arxiv.org/html/2607.08317#bib.bib85),19 (https://arxiv.org/html/2607.08317#bib.bib83),11 (https://arxiv.org/html/2607.08317#bib.bib84)]，在某些情况下与人类专家匹敌甚至超越。类似进展也在视觉语言基准上观察到，现代系统展现出强大能力[29 (https://arxiv.org/html/2607.08317#bib.bib89),28 (https://arxiv.org/html/2607.08317#bib.bib88),67 (https://arxiv.org/html/2607.08317#bib.bib86)]。然而在实践中，这些模型在人类看来直截了当的任务上仍然表现出令人惊讶的失败[72 (https://arxiv.org/html/2607.08317#bib.bib36),51 (https://arxiv.org/html/2607.08317#bib.bib37),55 (https://arxiv.org/html/2607.08317#bib.bib40),13 (https://arxiv.org/html/2607.08317#bib.bib14),8 (https://arxiv.org/html/2607.08317#bib.bib43)]。例如，模型可能难以生成长度指定的字符串[64 (https://arxiv.org/html/2607.08317#bib.bib93)]、生成一只恰好有四只眼睛的猫的图片[63 (https://arxiv.org/html/2607.08317#bib.bib17),7 (https://arxiv.org/html/2607.08317#bib.bib20)]、画出显示指定时间的钟表[50 (https://arxiv.org/html/2607.08317#bib.bib92)]，或解决相对简单的数独谜题[56 (https://arxiv.org/html/2607.08317#bib.bib91)]。这些失败指向一系列能力中的持久盲点，如空间推理[62 (https://arxiv.org/html/2607.08317#bib.bib74)]、逻辑一致性[26 (https://arxiv.org/html/2607.08317#bib.bib94)]和字符级操作[64 (https://arxiv.org/html/2607.08317#bib.bib93)]。为了系统研究哪些问题对人类仍然容易但对当今最先进模型困难，我们提出 blind-spots-bench，这是一个包含 235 个手工筛选问题的基准，涵盖多种输入输出格式，并配有一个可复现的评估框架。这些问题于 2025 年 10 月从研究生级 AI 课程的学生中收集，要求他们提出前沿 AI 聊天机器人未能正确回答的问题。每个问题都配有结构化参考答案、问题格式和任务标签。为了支持细粒度分析，我们引入了一个任务分类体系，包含三大类和更细粒度的子任务标签：对象中心任务，如计数、识别和空间推理；抽象推理任务，主要涉及数学和逻辑导向问题；语言与知识任务，涉及语言和基于知识的推理。我们进一步开发了一个端到端评估流程，根据参考答案自动评分。在此框架下，我们评估了广泛的前沿系统，包括纯文本 LLM、视觉语言模型（VLM）和专门的图像生成模型，共涵盖 38 个模型。我们的结果提供了跨模型变体的系统比较，并提供了两种互补的分析。在模型层面，性能最佳的闭源系统在 blind-spots-bench 上的准确率比得分最高的开源权重模型高出约 10 个百分点。即使在现有基准上表现相当的模型之间，这种差异仍然显著（见图 1 (https://arxiv.org/html/2607.08317#S0.F1)）。相比之下，开源权重模型在相同评估预算下可能更有效。我们还发现工具使用并非普遍有益，有时会导致准确率降低。在任务层面，我们的分类体系支持对模型能力的详细分析。细粒度视觉感知任务，如图像中物体计数，对所有模型仍具有挑战性，准确率不超过 60%。没有单一模型在所有任务中保持第一。例如，最强的 GPT 和 Gemini 模型在不同任务上表现出不同的优势（如 GPT 在算术推理上准确率 88.6%）。与此同时，其他模型可能在特定类别中表现出色，例如 DeepSeek-V4 在字符级操作上，Kimi-2.5 在算术推理上。最后，我们发现同一系列内缩放模型大小并非总能一致地提升性能。我们将贡献总结如下：
1. 我们提出 blind-spots-bench，这是一个包含 235 个开放式问题的精选数据集，旨在通过人类容易但当今模型困难的任务暴露多模态 AI 系统中的盲点。我们应用了详细的清洗和标注过程，并提供结构化参考答案以支持可靠评估。
2. 我们开发了一个端到端评估流程，涵盖响应生成、基于 AI 的自动评分以及评分可靠性的手动审核。使用此流程，我们对 32 个 LLM/VLM 和 6 个专门的图像生成模型进行了全面评估。
3. 我们提出一个任务分类体系，并对模型在不同任务类型上的行为进行细粒度分析。该分类体系包含三个高层类别和 12 个子类别，使我们能够检查问题构成和困难来源。我们的分析揭示了共同的弱点（如物体计数）以及模型特定的优势和失败模式。

## 2 相关工作
#### 通用与多模态评估基准。越来越多的工作强调超越单一的聚合基准分数，转向对模型推理错误进行更结构化的描述。最近关注广泛多学科推理性能的基准，如 RBench[18 (https://arxiv.org/html/2607.08317#bib.bib45)]、BIG-Bench[53 (https://arxiv.org/html/2607.08317#bib.bib97)]、GPQA[47 (https://arxiv.org/html/2607.08317#bib.bib82)] 和 MMMU[67 (https://arxiv.org/html/2607.08317#bib.bib86)]，聚合了不同类别的指标，但未能理解模型在特定推理组件上的行为差异，也无法识别简单但精确技能上的残留弱点。相比之下，blind-spots-bench 引入了一个结构化框架，将推理分解为细粒度子任务，从而允许超越聚合分数的更具可解释性的评估，揭示不同模型表现出不同的优势和劣势。
#### 分类体系与失败分析。超越聚合基准，先前的工作通过行为测试、诊断性挑战集以及结构化的任务分类体系和失败分析来表征模型行为。在 NLP 中，checklist[48 (https://arxiv.org/html/2607.08317#bib.bib100)] 引入了能力级别的行为测试，而 HANS[32 (https://arxiv.org/html/2607.08317#bib.bib101)] 等诊断基准显示，具有高基准准确率的模型仍可能依赖脆弱的启发式方法。动态和对比评估框架进一步突出了围绕模型失败构建目标示例的价值[21 (https://arxiv.org/html/2607.08317#bib.bib102),14 (https://arxiv.org/html/2607.08317#bib.bib103)]。在多模态评估中，ME[12 (https://arxiv.org/html/2607.08317#bib.bib104)]、ME-Reasoning[66 (https://arxiv.org/html/2607.08317#bib.bib44)]、MM-Vet[65 (https://arxiv.org/html/2607.08317#bib.bib105)]、GLUE[61 (https://arxiv.org/html/2607.08317#bib.bib99)]、SIV-Bench[23 (https://arxiv.org/html/2607.08317#bib.bib98)] 等基准围绕结构化能力组织评估，包括感知、OCR、空间推理、物体属性理解、社会推理、多模态逻辑推理，以及非正式与正式推理或具身设置之间的区分[52 (https://arxiv.org/html/2607.08317#bib.bib48)]。虽然这些工作提供了有用的高层模型行为分析，但它们要么过于粗略，要么过于宽泛，难以支持细粒度分析。因此，它们难以应用于我们的基准设置中的推理失败分析。在本工作中，我们提出将推理问题结构化解构为细粒度子任务，并为包含多个子任务的问题引入失败模式，其中失败类型根据模型的响应确定。这实现了更详细且情境化的错误分析。
#### 鲁棒性评估。另一条工作路线研究高基准分数是否反映鲁棒推理。GSM-Plus[25 (https://arxiv.org/html/2607.08317#bib.bib24)] 和 Math-Perturb[3 (https://arxiv.org/html/2607.08317#bib.bib4)] 生成来自成熟推理基准的扰动版本。GSM-Symbolic[34 (https://arxiv.org/html/2607.08317#bib.bib2)] 和 VarBench[43 (https://arxiv.org/html/2607.08317#bib.bib26)] 专注于创建参数化模板以测试等效问题上的性能不变性。这些基准补充了 blind-spots-bench，但其目的不同。扰动基准创建现有问题的受控变体，而 blind-spots-bench 则是基于前沿模型自然发生的失败构建，侧重于代表性不足的任务。

## 3 基准构建与组成分析
参考标题图 2：数据集中的代表性示例。虽然这些任务对人类通常容易，但我们发现它们对前沿模型仍具有挑战性。每个示例都标注了其解决方案（此处为缩写版本）、问题格式、任务和子任务类别，展示了基准中评估的技能多样性。完整分类体系和更多示例见附录 A (https://arxiv.org/html/2607.08317#A1)。

### 3.1 数据收集
我们从研究生级 AI 相关课程的学生中收集原始问题。每位学生被要求提出五个看起来对人类容易但约在 2025 年 10 月可用的前沿模型未能回答的问题。这次课程范围的收集共产生约 287 个原始问题。然后我们通过系统的清洗和标注流程将原始收集转化为标准化基准。该流程包括过滤过于困难或重复的条目、规范化问题格式，并确保每个问题清晰且表述妥当。我们进一步添加了如下所述的关键标注以方便验证和分析。最终数据集 blind-spots-bench 包含 235 个样本，并在 Hugging Face 上公开。¹¹¹https://huggingface.co/datasets/matsant01/blind-spots-bench 代表性示例见图 2 (https://arxiv.org/html/2607.08317#S3.F2)。
#### 解决方案与问题格式标注
对于每个问题，我们手动策划结构化的参考答案，以支持对模型输出的可靠评估。这些解决方案旨在支持下游自动验证器，后者需要明确且可操作的正确性标准。每个参考答案指定预期答案、正确所需的必要条件以及常见失败模式。常见失败模式来源于两个来源：数据收集期间学生提交的与 AI 代理交互中观察到的错误，以及每个问题至少三名标注员提出的额外错误案例。我们还为每个示例标注其问题格式，以方便模型比较，因为不同模型支持不同的输入输出格式。基准包含三个问题格式类别：纯文本，其中输入和输出均为文本；图像生成，其中输出为图像；多模态到文本，其中输入包含图像和文本，输出为文本。这些标签使我们能够将示例分配给适当的模型，在适用设置内比较系统，并识别当前模型最困难的是哪种格式。
#### 任务分类体系
与许多任务特定基准[5 (https://arxiv.org/html/2607.08317#bib.bib76),31 (https://arxiv.org/html/2607.08317#bib.bib75),62 (https://arxiv.org/html/2607.08317#bib.bib74)]不同，blind-spots-bench 旨在挑战 AI 系统并揭示跨越多种问题类型的推理盲点，涵盖广泛技能。为了更好地理解困难来源并支持后续模型性能分析，我们引入了一个针对我们数据集定制的分类体系。我们的分类体系包含三个主要类别：对象中心、抽象推理和语言与知识。每个类别进一步分解为针对特定能力的子任务。例如，如图 2 (https://arxiv.org/html/2607.08317#S3.F2) 所示，对象中心任务涵盖属性与模式识别、空间推理、感知计数和生成计数等能力。我们在表 4 (https://arxiv.org/html/2607.08317#A1.T4) 中提供了所有类别和子任务的详细描述，并在下一节讨论图 3 (https://arxiv.org/html/2607.08317#S3.F3) 中所示的总体分布。
#### 审核与质量控制
数据集经历了三阶段审核过程。首先，所有问题都经过手动验证，以确认每个任务定义明确且易于理解。然后我们进行难度阈值化，移除容易……（原文截断）