论文页面 - Imagine3D-LLM：在回答前先让 MLLM 想象 3D 场景

Source: https://huggingface.co/papers/2609.38177 Authors:

,

,

,

,

,

,

,

,

,

,

,

Abstract

从多视角图像中对 3D 世界进行推理，仍是多模态大语言模型（MLLMs）面临的一项基础性挑战。虽然现代 MLLM 能够有效处理单张图像输入，但它们难以将来自不同视角的证据整合为连贯的 3D 理解。已有大量工作试图弥合这一差距，例如通过增强细粒度的像素级跨视角对应关系，或融合来自 3D 几何基础模型的特征，向 MLLM 注入 3D 感知能力，但与人类推理之间仍存在显著差距。在本工作中，我们重新审视了人类的空间推理过程：人类并非依赖细粒度的几何线索，而是粗略地在各视角中识别共同物体，推断不同视点之间的相对几何关系，进而拼合出场景的粗略 3D 布局。受这一过程启发，我们提出了 Imagine3D-LLM，一个能够学习拼合出类似紧凑 3D 表示的 MLLM，并以该表示作为条件生成答案。具体而言，我们在图像 token 之后附加一小组可学习的摘要 token，将其解码为紧凑的 3D Gaussian Splatting 表示，并以光度重建损失进行监督，同时与标准的下一个 token 预测目标联合训练。值得注意的是，尽管只有摘要 token 接收到直接的重建监督，但这一目标同样在 LLM 底层的图像特征中引发了更强的跨帧对应关系，表明学习重建过程会将 3D 感知信号传播到整个模型中。因此，Imagine3D-LLM 在多个空间推理与 3D 理解基准上持续超越以往方法，说明“想象“场景可能比直接“告知“其逐像素几何更为有效。

View arXiv page (https://arxiv.org/abs/2609.38177)View PDF (https://arxiv.org/pdf/2609.38177)Project page (https://cvlab-kaist.github.io/Imagine3D-LLM/)GitHub16 (https://github.com/cvlab-kaist/Imagine3D-LLM)Add to collection (https://huggingface.co/login?next=%2Fpapers%2F2609.38177)

引用该论文的模型 0

没有模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.38177，即可从本页面链接到该论文。

引用该论文的数据集 0

没有数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.38177，即可从本页面链接到该论文。

引用该论文的 Spaces 0

没有 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.38177，即可从本页面链接到该论文。

收录该论文的合集 0

没有合集收录此论文

将此论文添加到合集 (https://huggingface.co/new-collection)，即可从本页面链接到该论文。