3d-scene-understanding

SmartMage 是一个统一的多模态大语言模型（LLM），它针对查询相关的3D场景理解动态编排视觉与几何模态，在五个基准上取得了最先进的结果。

MultiView-Bench是一个诊断基准，用于评估视觉语言模型将多个视角整合为一致3D心智模型的能力，揭示了3D空间推理中的系统性失败，并引入了ViewNavigator以缓解这些问题。

本文提出了COVER，一种无需训练的方法，用于将3D资产转换为具有完整场景覆盖和低冗余度的稀疏全景RGB-D位姿数据，并介绍了包含36,373个来自室内和室外场景的精选帧的CM-EVS数据集。

本文介绍了 HERMES++，这是一种统一的驾驶世界模型，它利用 BEV 表示、大语言模型（LLM）增强的查询以及联合几何优化，整合了 3D 场景理解和未来几何预测。