@qingke_ai: 空间感知的评测一直错位:大家都在考「看得懂这张图吗」,很少有人考「走过两步之后还知道东西在哪吗」。这篇把 10 个视觉基座模型按 4 个层级探了一遍,评测轴换成了状态能否跨观测保持。做具身和 VLA 的值得看。

X AI KOLs Timeline 论文

摘要

该推文介绍一篇评测论文,对 10 个视觉基础模型在 4 个层级上进行探测,评测轴从单帧图像理解转向跨观测保持的空间状态,对具身智能与 VLA 研究者有参考价值。

空间感知的评测一直错位:大家都在考「看得懂这张图吗」,很少有人考「走过两步之后还知道东西在哪吗」。这篇把 10 个视觉基座模型按 4 个层级探了一遍,评测轴换成了状态能否跨观测保持。做具身和 VLA 的值得看。
查看原文
查看缓存全文

缓存时间: 2026/11/02 06:07

空间感知的评测一直错位:大家都在考「看得懂这张图吗」,很少有人考「走过两步之后还知道东西在哪吗」。这篇把 10 个视觉基座模型按 4 个层级探了一遍,评测轴换成了状态能否跨观测保持。做具身和 VLA 的值得看。

Baiqiao Yin (@Baiqiao_Yin): Spatial perception is more than recognizing images. It calls for a persistent spatial state—maintained beyond observation, updated under self-motion, used to act.

Do vision foundation models support such a state? We probe 10 models at 4 levels. 🧵 🌏

Spatial perception evaluation has always been misaligned: everyone is testing “can you understand this image,” but few are testing “after walking two steps, do you still know where things are.” This article probes 10 visual foundation models across 4 levels, switching the evaluation axis to whether the state can be maintained across observations. Worth reading for those working on embodied AI and VLA.

RSI 这套方法有个公开的秘密:源任务上普遍涨,换到远域任务上普遍跌。

人大 RUC-NLPIR 开源了 FlashRSI,把 13 种 RSI 方法、30 个 benchmark、5 个 harness(Claude Code、Codex、MiniAgent、Pi、Hermes)收进一个接口,同一套配置里都能跑。

看它那张 Claude Code 的结果矩阵就很清楚。AppWorld 上 ADAS +25.00pp、SkillOpt +19.64pp、AHE +26.79pp;到了 far-OOD 的 DeepSearchQA,同一批方法变成 GEPA -14.00pp、ACE -12.00pp、ModularRSI -14.00pp。11 项平均下来,最好的 MetaHarness 也只有 +9.24pp。

它真正解决的问题是可比。harness 被当成带 role 标签的文件系统,RSI 算法只能观察和编辑被授权的那几类文件;每轮跑完留下 Snapshot、轨迹和最终选中的版本,换个人能复现。

价值不在刷分,在于让「谁的 RSI 更强」第一次能被证伪。

https://github.com/RUC-NLPIR/FlashRSI…

相似文章

空间中的人类:多模态大语言模型能否通过主动的外部视角探索构建以人为中心的空间理解?

Hugging Face Daily Papers

论文提出SATE-Bench交互式基准,包含316个真实场景与2525个多轮问答对,用于评估多模态大模型的视觉自我感知与主动全景视角探索能力。结果显示,最先进的多模态大模型往往在证据不足时过早停止探索且自信度过高,而GRPO微调虽提升探索行为,却因过度探索和多视角融合失败而降低整体准确率。

ACE-Brain-0.6:扩展物理基础模型的空间锚定能力

Hugging Face Daily Papers

ACE-Brain-0.6 通过约150万条可验证视觉定位数据微调 Qwen3.5-9B,在七个公开定位基准中的四个上超越 GPT-6 Astra,展示了扩展多样化定位监督数据可显著提升开放多模态模型的空间感知与具身操作能力。