标签
WildCity 引入了由自动驾驶车队收集的大规模多模态数据集,用于城市规模的导航与空间表征。该数据集包含 18 条长轨迹,并建立了重建与闭环仿真的基线,以推动能够感知和推理城市规模环境的 AI 系统发展。
李飞飞的World Labs专注于空间智能AI,融资10亿美元,标志着从大语言模型向世界模型的转变。
本文提出Embodied-BenchClaw,一种自主多智能体系统,能够通过包含过程质量控制与可扩展技能库的五阶段流水线,根据用户意图自动构建具身空间智能基准。
李飞飞阐述World Labs专注于构建大型世界模型以解锁空间智能,认为这是继语言模型后的下一个前沿,并从进化史、应用场景、技术分类等角度论证其价值,同时表达了对AI安全务实态度和教育变革必要性的看法。
GeoVR 通过利用多个几何目标从3D基础模型中蒸馏几何知识,重构多模态大语言模型的语义潜空间,从而增强其3D感知能力。
Fei-Fei Li与World Labs团队提出了世界模型的功能分类法,区分了渲染器、物理引擎以及在强化学习循环中的其他组件,并论证空间智能是人工智能的下一个前沿。
OVO-S-Bench 构建了一个全面的人工标注基准测试,涵盖 348 个视频中的 1,680 道问题,用于评估多模态大语言模型的流式空间智能能力。结果显示,即便是表现最佳的模型(Gemini-3.1-Pro)也比人类专家低 27 分。该基准测试揭示了若干关键局限:以他者为中心的空间映射是主要瓶颈,而思维链推理则会放大空间错误。
介绍了 Target Viewpoint Reproduction (TVR) 任务和 TVRBench 基准,用于评估基础模型主动调整 3D 视角以匹配目标图像的能力。实验揭示了当前开源和闭源模型的显著局限性,统一的后训练框架将成功率从约12%提升至约51%。
本文通过系统性的冻结特征探测研究,比较了视觉语言模型(VLMs)和视频生成模型(VGMs)在空间智能任务上的表现。研究发现,VLMs在语义标签和实例分组方面表现优异,而VGMs则提供更好的密集几何和相机运动信号。两种模型的简单融合在所有维度上均展现出强劲性能。
李飞飞将机器人解释为需要空间智能的具身机器,并讨论3D生成技术如何创造无限数字世界,从而开启用于创造力、训练和故事讲述的多重宇宙。
SpaceDG是一个大规模数据集和基准测试,用于评估多模态语言模型在运动模糊、低光照等视觉退化条件下的空间推理鲁棒性,揭示了显著的性能差距,并表明在SpaceDG上进行微调可在不降低干净图像性能的前提下提升鲁棒性。
介绍了 ESI-BENCH,这是一个基于 OmniGibson 构建的全面具身空间智能基准,涵盖 10 个任务类别和 29 个子类别。实验表明,主动探索显著优于被动方法,失败主要源于行动盲视而非感知,揭示了模型与人类相比的元认知差距。
Fei-Fei Li警告,AI过度关注语言模型,强调世界是物理的、视觉的、空间的,并且大部分经济依赖于具身智能。
本文介绍了 JoyAI-Image,这是一种统一的多模态基础模型,通过整合空间增强的多模态大语言模型(MLLM)与多模态扩散 Transformer(MMDiT),在视觉理解、文生图生成以及指令引导编辑方面取得了最先进的性能。
研究者推出首个量化多模态模型生成式空间智能的基准 GSI-Bench,通过在图像生成过程中评估 3D 空间约束遵守情况来衡量能力。在合成数据集上微调可显著提升空间编辑保真度与下游空间理解,证明生成式训练能增强空间推理。
英伟达AI研究副总裁Sanja Fidler断言Transformer并非AI的终局架构,指出当前模型训练成本过高、对海量数据依赖严重,需要在架构底层寻求新突破,新一代架构变种已开始涌现。
研究表明,由于捷径学习和仅凭文本臆造视觉细节,思维链提示会损害多模态大模型在视觉空间推理方面的表现。