PhysVista:通过感知—推理—评估闭环对视觉语言模型的物理智能进行基准评测
摘要
PhysVista 提出了一个基于「感知—推理—评估」闭环认知框架的基准,用于评测视觉语言模型(VLM)的物理智能,涵盖事件级与尺度级推理,以及真实视频与 AI 生成视频。研究揭示了 VLM 在物理推理与合理性评估方面的显著局限。
查看缓存全文
缓存时间: 2026/10/02 12:28
论文页面 - PhysVista:通过感知-推理-评估闭环对 VLM 中的物理智能进行基准测试
Source: https://huggingface.co/papers/2610.00559
摘要
视觉-语言模型(VLMs)已经展现出强大的多模态推理能力,但它们是否真正捕捉到了现实世界动态背后的物理一致性,目前仍不清楚。现有的基准测试范式往往存在评估碎片化的问题,只关注孤立的认知阶段,而忽视了感知、推理与物理判断之间内在的协同关系。这种缺乏整体视角的做法,限制了我们判断 VLM 是否能够可靠评估新兴生成模型物理真实性的能力。为了解决这些问题,我们提出了 PhysVista,一个专为评估 VLM 中物理智能而设计的基准测试。它借鉴人类“看—推理—评估“的过程,构建了一个闭环认知框架。PhysVista 通过联合评估物理状态感知、物理动态推理以及物理合理性评估,恢复了这一闭环。它还进一步区分了事件级推理(event-level reasoning)和尺度级推理(scale-level reasoning),从而能够对物理理解进行细粒度分析。此外,PhysVista 同时引入了真实世界视频和 AI 生成视频,使得评估可以覆盖多样化领域以及新兴的生成场景。在一系列多样的 VLM 上开展的广泛实验揭示了它们在物理推理与合理性评估方面存在显著局限,凸显了视觉识别与真正物理理解之间持续存在的差距,并指向了更具原则性的、以物理为根基的多模态智能设计方向。
[查看 arXiv 页面 (https://arxiv.org/abs/2610.00559)] [查看 PDF (https://arxiv.org/pdf/2610.00559)] [GitHub1 (https://github.com/Helen1p/PhysVista)] [加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.00559)]
在你的 agent 中获取本文:
hf papers read 2610.00559
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 0
暂无关联本文的模型
在模型 README.md 中引用 arxiv.org/abs/2610.00559,即可从本页面关联它。
引用本文的数据集 0
暂无关联本文的数据集
在数据集 README.md 中引用 arxiv.org/abs/2610.00559,即可从本页面关联它。
引用本文的 Spaces 0
暂无关联本文的 Space
在 Space README.md 中引用 arxiv.org/abs/2610.00559,即可从本页面关联它。
包含本文的合集 0
暂无包含本文的合集
[将本文添加到合集 (https://huggingface.co/new-collection)] 以从本页面关联它。
相似文章
TacitVLA:无推理延迟的隐式推理视觉-语言-动作模型
TacitVLA 提出一种无需在行动前生成推理文本的视觉-语言-动作模型,动作专家不关注其生成的推理内容,仅依靠推理监督改进骨干表示,在四个基准上以最高 3.4 倍更低延迟匹配显式推理模型的性能,并在 RoboMME 和 RMBench 上超越此前最佳结果。
LVLMs 能否揭示视觉错觉背后的真相?感知与推理能力分析
本文介绍了 IllusionReasoning,一个使用真实世界视觉错觉的基准,用于联合评估大型视觉语言模型(LVLMs)的感知和推理能力,发现当前模型的推理能力并不像声称的那样先进。
视觉思考-视觉-语言-行动策略:视觉中间推理实现高效低延迟
视觉思考-视觉-语言-行动策略(VisualThink-VLA)引入了一种用于视觉-语言-行动策略的视觉中间推理框架,该框架保留了空间精度,并相比基于文本的推理显著降低了延迟,在机器人操作基准测试中实现了亚秒级推理和领先的成功率。
WM-VLM:探查内部世界模型以实现视觉与文本交错推理
WM-VLM 论文为预训练 VLM 增加轻量级世界模型分支,通过两阶段训练生成中间视觉状态以支持语言与视觉双通道推理,在 2D/3D 心智旋转任务上较监督微调基线最高提升 39.25 个百分点。
VLMs 是否像工程师一样推理?一个基准与分阶段评估
本文介绍了 EngVQA,一个用于评估视觉语言模型工程推理能力的多模态基准,以及一个 8 阶段自动评估框架,能够对推理失败进行细粒度分析。它揭示了当前 VLMs 在工程推理能力上的重大局限性。