人类的第六感:多模态模型直觉性视觉推理能力基准测试(1分钟阅读)
摘要
一篇介绍直觉视觉推理基准测试("人类的第六感")的新论文,旨在评估多模态 AI 模型的感知直觉能力。
本文提出了一套用于评估多模态模型直觉性视觉推理能力的基准测试。
查看缓存全文
缓存时间: 2026/10/09 06:35
# 人类的第六感:多模态模型直觉视觉推理能力基准测试
来源:https://labs.scale.com/papers/humanitys-sixth-sense
多模态 2026年10月7日
Xingang Guo, Jing Gu, Brian Jang, Renxiong Wang, Utkarsh Tyagi, Daniel Quigley, Steven Li, David Yan, Daniel Yue Zhang, Darvin Yi, Forrest Huang, HiJae Kim, Tianyi Zhang, Jared Lichtarge, Jihua Huang, Le Xue, Manan Tomar, Qiuyi Richard Zhang, Ruofei Yu, Seth Neel, Yaning Hu, Marcella Valentine, Xinzhe Jiang, Daniel Evans, Chenguang Wang, Dustin Tran, Tong Zhao, Yinfei Yang, Yunzhong He
[查看论文](https://static.remotasks.com/uploads/6a8dcf7f9a28fc4d7f8ba553/HSS_ICLR_2027%20(2).pdf)
相似文章
人类的第六感:多模态模型直觉视觉推理能力的基准评测
本文介绍了“人类的第六感”(Humanity's Sixth Sense,HSS),这是一个用于评估多模态大语言模型直觉视觉推理能力的基准。结果显示,人类的准确率达到93.1%,而最强的模型GPT-6-astra仅达到53.6%,凸显了模型在隐性视觉理解能力方面与人类存在显著差距。
推出「人类第六感」:一项测试直觉视觉推理的新基准,涵盖从空间推理、因果推理到社会理解等多个维度。差距十分显著:人类得分为93.1%,而表现最强的模型GPT-6-astra仅达到53.6%,模型中位数得分只有30.9%。
推出「人类第六感」(Humanity's Sixth Sense)——一项测试直觉视觉推理的新基准,涵盖空间推理、因果推理与社会理解等多个维度。人类得分为93.1%,表现最强的模型GPT-6-astra达到53.6%,而模型中位数得分仅为30.9%。
The Unwritten Benchmark: 多模态机器学习在抽象感知推理中的新挑战
本文介绍了The Unwritten Benchmark,这是一个用于评估多模态AI模型抽象感知推理能力的新挑战,揭示了人类与当前模型如GPT-4o和Gemini 2.5-Pro之间的显著性能差距。
WorldBench:一个具有挑战性且视觉多样化的多模态推理基准
介绍WorldBench,一个视觉多样化的多模态推理基准,揭示了当前多模态大语言模型在视觉理解方面的显著局限性。
See2Think:多模态模型真的会使用中间视觉状态吗?
本文介绍了See2Think,一个统一的评估框架,用于测试多模态模型在推理过程中是否真正依赖中间视觉状态。研究发现,视觉推理高度依赖模型和环境,而忠实的渲染是主要瓶颈。