@qingke_ai: 空间感知的评测一直错位:大家都在考「看得懂这张图吗」,很少有人考「走过两步之后还知道东西在哪吗」。这篇把 10 个视觉基座模型按 4 个层级探了一遍,评测轴换成了状态能否跨观测保持。做具身和 VLA 的值得看。
摘要
该推文介绍一篇评测论文,对 10 个视觉基础模型在 4 个层级上进行探测,评测轴从单帧图像理解转向跨观测保持的空间状态,对具身智能与 VLA 研究者有参考价值。
查看缓存全文
缓存时间: 2026/11/02 06:07
空间感知的评测一直错位:大家都在考「看得懂这张图吗」,很少有人考「走过两步之后还知道东西在哪吗」。这篇把 10 个视觉基座模型按 4 个层级探了一遍,评测轴换成了状态能否跨观测保持。做具身和 VLA 的值得看。
Baiqiao Yin (@Baiqiao_Yin): Spatial perception is more than recognizing images. It calls for a persistent spatial state—maintained beyond observation, updated under self-motion, used to act.
Do vision foundation models support such a state? We probe 10 models at 4 levels. 🧵 🌏
Spatial perception evaluation has always been misaligned: everyone is testing “can you understand this image,” but few are testing “after walking two steps, do you still know where things are.” This article probes 10 visual foundation models across 4 levels, switching the evaluation axis to whether the state can be maintained across observations. Worth reading for those working on embodied AI and VLA.
RSI 这套方法有个公开的秘密:源任务上普遍涨,换到远域任务上普遍跌。
人大 RUC-NLPIR 开源了 FlashRSI,把 13 种 RSI 方法、30 个 benchmark、5 个 harness(Claude Code、Codex、MiniAgent、Pi、Hermes)收进一个接口,同一套配置里都能跑。
看它那张 Claude Code 的结果矩阵就很清楚。AppWorld 上 ADAS +25.00pp、SkillOpt +19.64pp、AHE +26.79pp;到了 far-OOD 的 DeepSearchQA,同一批方法变成 GEPA -14.00pp、ACE -12.00pp、ModularRSI -14.00pp。11 项平均下来,最好的 MetaHarness 也只有 +9.24pp。
它真正解决的问题是可比。harness 被当成带 role 标签的文件系统,RSI 算法只能观察和编辑被授权的那几类文件;每轮跑完留下 Snapshot、轨迹和最终选中的版本,换个人能复现。
价值不在刷分,在于让「谁的 RSI 更强」第一次能被证伪。
https://github.com/RUC-NLPIR/FlashRSI…
相似文章
@svpino:你可以给这个模型看一张图片或一段视频,它就能回答你关于它的任何问题。这远远超越了前沿模…
Andrew M. Dai 引用介绍了 Glimpse——首个视觉思考模型,能够理解图像与视频中的物体关系及随时间变化的动作,性能可与前沿模型 Astra 相媲美。
空间中的人类:多模态大语言模型能否通过主动的外部视角探索构建以人为中心的空间理解?
论文提出SATE-Bench交互式基准,包含316个真实场景与2525个多轮问答对,用于评估多模态大模型的视觉自我感知与主动全景视角探索能力。结果显示,最先进的多模态大模型往往在证据不足时过早停止探索且自信度过高,而GRPO微调虽提升探索行为,却因过度探索和多视角融合失败而降低整体准确率。
@Saccc_c:继 Jev 之后,我强烈建议大家密切关注这款新发布的大模型 Glimpse——它成功地……
Elorian AI 发布首个视觉思考大模型 Glimpse,主打视频/图像的空间结构与动态理解,作者实测其在游戏验收与漏洞检测中的表现显著优于 Astra,并已开放 API,可集成进 Codex 等开发流程。
ACE-Brain-0.6:扩展物理基础模型的空间锚定能力
ACE-Brain-0.6 通过约150万条可验证视觉定位数据微调 Qwen3.5-9B,在七个公开定位基准中的四个上超越 GPT-6 Astra,展示了扩展多样化定位监督数据可显著提升开放多模态模型的空间感知与具身操作能力。
PhysVista:通过感知—推理—评估闭环对视觉语言模型的物理智能进行基准评测
PhysVista 提出了一个基于「感知—推理—评估」闭环认知框架的基准,用于评测视觉语言模型(VLM)的物理智能,涵盖事件级与尺度级推理,以及真实视频与 AI 生成视频。研究揭示了 VLM 在物理推理与合理性评估方面的显著局限。