PhysVista:通过感知—推理—评估闭环对视觉语言模型的物理智能进行基准评测

Hugging Face Daily Papers 论文

摘要

PhysVista 提出了一个基于「感知—推理—评估」闭环认知框架的基准,用于评测视觉语言模型(VLM)的物理智能,涵盖事件级与尺度级推理,以及真实视频与 AI 生成视频。研究揭示了 VLM 在物理推理与合理性评估方面的显著局限。

视觉-语言模型(VLMs)展现出了强大的多模态推理能力,但它们是否真正捕捉到真实世界动态背后的物理一致性,仍不清楚。现有的基准评测范式往往存在评测碎片化的问题,聚焦于孤立的认知阶段,而忽视了感知、推理与物理判断之间内在的协同作用。缺乏整体视角,限制了我们诊断 VLMs 能否可靠评估新兴生成模型物理真实性的能力。为了解决这些问题,我们提出了 PhysVista,这是一个旨在通过受人类"看-推理-评估"过程启发的闭环认知框架来评测 VLMs 物理智能的基准。PhysVista 通过联合评估物理状态感知、物理动态推理与物理合理性评估,恢复了这一闭环。它进一步区分了事件级推理和尺度级推理,以实现对物理理解的细粒度分析。此外,PhysVista 同时纳入了真实世界视频和 AI 生成视频,使得评测能够覆盖多样的领域和新兴的生成场景。在多种 VLMs 上开展的广泛实验揭示了它们在物理推理和合理性评估方面的显著不足,凸显了视觉识别与真正物理理解之间持续存在的差距,并为构建更具原则性的、以物理为基础的多模态智能指明了方向。
查看原文
查看缓存全文

缓存时间: 2026/10/02 12:28

论文页面 - PhysVista:通过感知-推理-评估闭环对 VLM 中的物理智能进行基准测试

Source: https://huggingface.co/papers/2610.00559

摘要

视觉-语言模型(VLMs)已经展现出强大的多模态推理能力,但它们是否真正捕捉到了现实世界动态背后的物理一致性,目前仍不清楚。现有的基准测试范式往往存在评估碎片化的问题,只关注孤立的认知阶段,而忽视了感知、推理与物理判断之间内在的协同关系。这种缺乏整体视角的做法,限制了我们判断 VLM 是否能够可靠评估新兴生成模型物理真实性的能力。为了解决这些问题,我们提出了 PhysVista,一个专为评估 VLM 中物理智能而设计的基准测试。它借鉴人类“看—推理—评估“的过程,构建了一个闭环认知框架。PhysVista 通过联合评估物理状态感知、物理动态推理以及物理合理性评估,恢复了这一闭环。它还进一步区分了事件级推理(event-level reasoning)和尺度级推理(scale-level reasoning),从而能够对物理理解进行细粒度分析。此外,PhysVista 同时引入了真实世界视频和 AI 生成视频,使得评估可以覆盖多样化领域以及新兴的生成场景。在一系列多样的 VLM 上开展的广泛实验揭示了它们在物理推理与合理性评估方面存在显著局限,凸显了视觉识别与真正物理理解之间持续存在的差距,并指向了更具原则性的、以物理为根基的多模态智能设计方向。

[查看 arXiv 页面 (https://arxiv.org/abs/2610.00559)] [查看 PDF (https://arxiv.org/pdf/2610.00559)] [GitHub1 (https://github.com/Helen1p/PhysVista)] [加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.00559)]

在你的 agent 中获取本文:

hf papers read 2610.00559

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无关联本文的模型

在模型 README.md 中引用 arxiv.org/abs/2610.00559,即可从本页面关联它。

引用本文的数据集 0

暂无关联本文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2610.00559,即可从本页面关联它。

引用本文的 Spaces 0

暂无关联本文的 Space

在 Space README.md 中引用 arxiv.org/abs/2610.00559,即可从本页面关联它。

包含本文的合集 0

暂无包含本文的合集

[将本文添加到合集 (https://huggingface.co/new-collection)] 以从本页面关联它。

相似文章

TacitVLA:无推理延迟的隐式推理视觉-语言-动作模型

Hugging Face Daily Papers

TacitVLA 提出一种无需在行动前生成推理文本的视觉-语言-动作模型,动作专家不关注其生成的推理内容,仅依靠推理监督改进骨干表示,在四个基准上以最高 3.4 倍更低延迟匹配显式推理模型的性能,并在 RoboMME 和 RMBench 上超越此前最佳结果。

视觉思考-视觉-语言-行动策略:视觉中间推理实现高效低延迟

Hugging Face Daily Papers

视觉思考-视觉-语言-行动策略(VisualThink-VLA)引入了一种用于视觉-语言-行动策略的视觉中间推理框架,该框架保留了空间精度,并相比基于文本的推理显著降低了延迟,在机器人操作基准测试中实现了亚秒级推理和领先的成功率。