论文页面 - Mind’s Eye：面向多模态大模型的视觉抽象、变换与组合基准

来源：https://huggingface.co/papers/2604.16054

摘要

多模态大语言模型在视觉-空间推理任务上相比人类表现存在显著差距，暴露出视觉注意力、知觉操作与概念抽象方面的不足。

多模态大语言模型（https://huggingface.co/papers?q=Multimodal%20large%20language%20models）（MLLMs）在视觉-语言基准（https://huggingface.co/papers?q=vision%20language%20benchmarks）上已取得令人瞩目的进展，但其视觉认知与空间推理能力仍缺乏深入理解。我们推出“Mind’s Eye”——一项包含八项视觉认知任务的选择题基准，灵感来自经典人类智力测验，并按全新的“A-R-T”分类法组织：抽象（Abstraction）、关系（Relation）与变换（Transformation）。这些任务探测流体智力（https://huggingface.co/papers?q=fluid%20intelligence）的核心过程，如模式归纳（https://huggingface.co/papers?q=pattern%20induction）、类比关系映射（https://huggingface.co/papers?q=analogical%20relation%20mapping）与心理旋转（https://huggingface.co/papers?q=mental%20transformation）。我们评估了多款闭源与开源 MLLM，并与人类参与者对比。人类准确率达 80%，而表现最佳的 MLLM 仍低于 50%。错误分析揭示了三类失败：（i）视觉注意力分配（https://huggingface.co/papers?q=visual%20attention%20allocation）、（ii）内部知觉操作（https://huggingface.co/papers?q=internal%20perceptual%20manipulation）、（iii）对底层视觉概念的弱抽象。结果表明，当前 MLLM 的视觉-空间推理能力仍有限，亟需更具认知基础的评估框架。

查看 arXiv 页面（https://arxiv.org/abs/2604.16054）查看 PDF（https://arxiv.org/pdf/2604.16054）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2604.16054）

让智能体阅读该论文：

hf papers read 2604.16054

尚未安装最新 CLI？
curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无模型关联该论文

在模型 README.md 中引用 arxiv.org/abs/2604.16054 即可在此页面显示。

引用该论文的数据集 0

暂无数据集关联该论文

在数据集 README.md 中引用 arxiv.org/abs/2604.16054 即可在此页面显示。

引用该论文的 Spaces 0

暂无 Space 关联该论文

在 Space README.md 中引用 arxiv.org/abs/2604.16054 即可在此页面显示。

包含该论文的收藏 0

暂无收藏包含该论文

将该论文加入收藏（https://huggingface.co/new-collection）即可在此页面显示。