任何3D场景都值得1K token：面向大规模场景生成的3D-grounded表示

Hugging Face Daily Papers 论文
3d-generation diffusion-transformers latent-space scene-generation representation-learning 3d-vision

摘要

提出在由2D基础模型导出的高维隐式3D潜在空间中直接进行扩散建模，实现3D-grounded的场景级3D生成，相比2D多视角方法在空间一致性和效率上更具优势，并验证了其在表示与模型容量上的可扩展性。

场景级3D生成长期以来一直由2D多视角或视频扩散模型主导。通常，这些基于2D的方法在2D潜在空间中执行场景生成，这带来了两个根本性问题：(i) 通过2D视角表示3D场景会导致显著的表示冗余；(ii) 根植于2D的潜在空间从根本上限制了所生成场景的空间一致性。在本文中，我们提出直接在由强大的2D基础模型（如 DINOv2、SigLIP2、DA3）导出的高维隐式3D潜在空间中进行3D场景生成。随后，我们驯服扩散Transformer（diffusion transformer），使其直接在3D潜在空间中进行扩散建模，从而实现3D-grounded的场景生成。在实验中，我们不仅展示了本方法相较于基于2D的方法在效率和空间一致性方面的优势，还全面分析了3D潜在表示对3D场景生成性能的影响。此外，我们还验证了本方法在表示和模型容量方面良好的可扩展性。
查看原文
查看缓存全文

缓存时间: 2026/10/21 07:05

论文页面 - 任何 3D 场景都值得 1K 个 Token：用于大规模场景生成的 3D 落地表示

来源: https://huggingface.co/papers/2604.11331

摘要

与基于 2D 的方法相比，直接在 3D 潜空间中进行扩散建模，可提升场景级 3D 生成的空间一致性和效率。

场景级 3D 生成长期以来由 2D 多视角或视频扩散模型主导。通常，这些基于 2D 的方法在 2D 潜空间中执行场景生成，这带来了两个根本性问题：(i) 通过 2D 视角表示 3D 场景会导致显著的表示冗余，(ii) 根植于 2D 的潜空间本质上限制了所生成场景的空间一致性 (https://huggingface.co/papers?q=spatial%20consistency)。在本文中，我们提出直接在源自强大 2D 基础模型 (https://huggingface.co/papers?q=2D%20foundation%20models)（例如 DINOv2 (https://huggingface.co/papers?q=DINOv2)、SigLIP2 (https://huggingface.co/papers?q=SigLIP2)、DA3 (https://huggingface.co/papers?q=DA3)）的高维隐式 3D 潜空间 (https://huggingface.co/papers?q=3D%20latent%20space) 中执行 3D 场景生成。随后，我们利用扩散 Transformer (https://huggingface.co/papers?q=diffusion%20transformers) 直接在 3D 潜空间 (https://huggingface.co/papers?q=3D%20latent%20space) 中进行扩散建模，从而实现 3D 落地的场景生成 (https://huggingface.co/papers?q=3D-grounded%20scene%20generation)。在实验中，我们不仅展示了本方法在效率和空间一致性 (https://huggingface.co/papers?q=spatial%20consistency) 方面相对于基于 2D 的方法的优势，还全面分析了 3D 潜表示对 3D 场景生成性能的影响。此外，我们验证了本方法在表示和模型容量方面良好的可扩展性。

查看 arXiv 页面 (https://arxiv.org/abs/2604.11331) 查看 PDF (https://arxiv.org/pdf/2604.11331) 项目页面 (https://wswdx.github.io/3DRAE) GitHub65 (https://github.com/WU-CVGL/3DRAE) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2604.11331)

在你的 agent 中获取此论文：

hf papers read 2604.11331

还没有最新版 CLI？ curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型1

tracywei/3drae Image-to-3D • 1 天前更新 (https://huggingface.co/tracywei/3drae)

引用此论文的数据集1

tracywei/scannet_3drae (https://huggingface.co/datasets/tracywei/scannet_3drae)

引用此论文的 Spaces1

包含此论文的收藏夹1

相似文章

用于可扩展且多用途3D生成的结构化3D潜在表示

Papers with Code Trending

微软提出统一的结构化潜在表示（SLAT），结合校正流 Transformer 实现高质量、多格式（辐射场、3D 高斯、网格）的 3D 资产生成，支持文本/图像条件及局部编辑，在 50 万个 3D 样本的数据集上训练的 20 亿参数模型显著超越现有方法。

T3lescope：基于图像的任意分辨率高保真生成式表面重建

Hugging Face Daily Papers

T3lescope提出一种单一固定分辨率生成器的推理时粗到细级联方法，从多视角图像实现跨尺度（从单物体到大型户外场景）的任意分辨率高保真3D场景网格重建，无需逐场景优化，在室内、户外和城市规模场景上超越了前馈与生成基线。

Scene-Designer：面向智能体式3D场景生成的设计智能学习

Hugging Face Daily Papers

Scene-Designer 提出了一个通过设计与批评双重经验学习设计智能的智能体框架，用于生成完整、连贯且可用的 3D 室内场景，并提出了 Critic 引导的 Scene-GRPO 方法，在物理有效性、功能正确性和布局连贯性方面取得了更优的性能。