WorldRecon:面向大规模三维世界的生成式多视图网格重建

Hugging Face Daily Papers 论文

摘要

WorldRecon 提出一种生成式多视角网格重建框架,可从无位姿 RGB 图像重建大规模 3D 场景的完整网格。它将 TRELLIS.2 生成模型与重建式条件架构结合,通过邻域感知潜在修补和因果世界生成保证场景级一致性,在合成与真实室内场景上分别将 Chamfer 距离降低 14.9% 和 43.1%,达到最先进性能。

从无位姿的多视角图像中重建完整、高质量的大规模场景网格,需要忠实的几何依据,同时还要合理补全未被观测到或仅被稀疏捕获的表面。我们提出 WorldRecon,一种生成式多视角重建框架,用于从无位姿的 RGB 图像中恢复完整的大规模 3D 场景网格。WorldRecon 将重建模型根据输入图像估计出的粗糙、带噪声的全局点云和相机位姿作为整个场景生成的全局骨架,并将其划分为相互重叠的空间块。为稳健地利用这些不完美的几何先验,我们为原生 3D 生成模型 TRELLIS.2 配备了专门的基于重建的条件架构,根据各空间块的局部点云裁剪和与该块相关的图像观测生成对应空间块,产出稀疏结构、精细几何和基于物理的渲染(PBR)材质。为保持场景级一致性,我们引入了邻域感知的潜空间修补机制和因果式世界生成流程,在重叠空间块之间传播结构、几何和材质上下文。这些设计共同将多视角生成式重建扩展至大规模场景,生成连贯、统一的网格。大量实验表明,WorldRecon 实现了最先进的重建性能:相较于最强的基线方法,在合成室内场景和真实世界室内场景上,Chamfer 距离分别降低了 14.9% 和 43.1%,F 分数分别提高了 17.3% 和 12.0%,从而展示了忠实且完整的生成式重建能力,以及强大的从仿真到现实的泛化能力。项目主页:https://kszpxxzmc.github.io/WorldRecon-website/。
查看原文
查看缓存全文

缓存时间: 2026/10/14 10:54

论文页面 - WorldRecon:面向大规模3D世界的生成式多视图网格重建

来源:https://huggingface.co/papers/2610.18846

摘要

从无位姿多视图图像中重建大规模场景的完整、高质量网格,需要忠实的几何依据,同时合理补全未被观测到或仅被稀疏捕获的表面。我们提出WorldRecon,这是一个生成式多视图重建框架,用于从无位姿RGB图像中恢复完整的大规模3D场景网格。WorldRecon使用重建模型从输入图像中估计出的粗糙、带噪声的全局点云和相机位姿,作为整个场景生成的全局支架,并将其划分为相互重叠的空间块。为了稳健地利用这些不完美的几何先验,我们为原生3D生成模型TRELLIS.2配备了专门的基于重建的条件架构,该架构根据每个块的局部点云裁剪和与该块相关的图像观测生成该块,产生稀疏结构、精细几何和PBR材质。为了保持场景级的一致性,我们引入了邻域感知的潜空间修补和因果式世界生成流程,在相互重叠的块之间传播结构、几何和材质上下文。这些设计共同将多视图生成式重建扩展到大规模场景,生成连贯、统一的网格。大量实验表明,WorldRecon实现了最先进的重建性能:在合成和真实世界室内场景上,相较于最强基线,Chamfer距离分别降低了14.9%和43.1%,F分数分别提升了17.3%和12.0%,从而展示了忠实、完整的生成式重建能力,以及强大的仿真到现实泛化能力。项目页面:https://kszpxxzmc.github.io/WorldRecon-website/。

查看arXiv页面 (https://arxiv.org/abs/2610.18846)查看PDF (https://arxiv.org/pdf/2610.18846)项目页面 (https://kszpxxzmc.github.io/WorldRecon-website/)GitHub3 (https://github.com/kszpxxzmc/WorldRecon)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.18846)

在你的智能体中获取这篇论文:

hf papers read 2610\.18846

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型关联这篇论文

在模型的README.md中引用arxiv.org/abs/2610.18846,即可从此页面链接到该模型。

引用这篇论文的数据集0

没有数据集关联这篇论文

在数据集的README.md中引用arxiv.org/abs/2610.18846,即可从此页面链接到该数据集。

引用这篇论文的Spaces0

没有Space关联这篇论文

在Space的README.md中引用arxiv.org/abs/2610.18846,即可从此页面链接到该Space。

包含这篇论文的合集0

没有合集包含这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection),即可从此页面链接到该合集。

相似文章

GenRecon:结合生成先验的多视图3D场景重建

Hugging Face Daily Papers

GenRecon提出了一种3D场景重建方法,将生成式3D先验与多视图图像条件相结合,实现了室内环境的高保真、可编辑网格重建,性能比现有方法提升16%。

T3lescope:基于图像的任意分辨率高保真生成式表面重建

Hugging Face Daily Papers

T3lescope提出一种单一固定分辨率生成器的推理时粗到细级联方法,从多视角图像实现跨尺度(从单物体到大型户外场景)的任意分辨率高保真3D场景网格重建,无需逐场景优化,在室内、户外和城市规模场景上超越了前馈与生成基线。

PixWorld:在像素空间中统一3D场景生成与重建

Hugging Face Daily Papers

PixWorld提出了一种统一的像素空间扩散方法,用于3D场景重建与生成,通过直接的图像级监督和几何感知特征对齐,克服了潜在空间方法的局限性。该方法优于先前的生成方法,并达到了与最先进的重建方法相当的性能。