3d-understanding

本文提出VLM3，一种通过简单的架构修改和基于文本的训练将视觉语言模型适配到3D理解任务的方法，无需复杂设计即可实现有竞争力的性能。该方法在深度估计精度上取得了显著提升，并支持多种3D任务，如像素对应、相机姿态估计和物体级理解。

EVA01是一个统一框架，通过混合变换器架构将3D网格作为原生模态集成到多模态语言模型中，实现了先进的文本到3D生成以及长上下文多轮几何编辑。