WorldSculpt 项目主页: https://alaya-lab.github.io/WorldSculpt/
代码: https://github.com/AlayaLab/WorldSculpt

WorldSculpt：从真实场景视频生成组合式世界

来源：https://alaya-lab.github.io/WorldSculpt/

Alaya Lab ♣ 东京大学

联系人：王志翔（项目负责人），张凯鹏

论文 (https://alaya-lab.github.io/WorldSculpt/assets/paper/worldsculpt.pdf) | arXiv (https://arxiv.org/abs/2609.05416) | 代码 (https://github.com/AlayaLab/WorldSculpt) | 模型 (https://huggingface.co/AlayaLab/WorldSculpt) | 基准数据集 (https://huggingface.co/datasets/AlayaLab/Worldsculpt_data) | 视频 (https://alaya-lab.github.io/WorldSculpt/#video) | BibTeX (https://alaya-lab.github.io/WorldSculpt/#bibtex)

WorldSculpt 效果展示：一个杂乱场景被重建为数百个独立的物体网格

给定带有实例掩码和 3D 边界框的 RGB 图像，WorldSculpt 能够为由数百个独立物体组成的复杂场景生成组合式网格表示。

贡献

WorldSculpt 框架

我们提出了 WorldSculpt，一个能够将包含数百个物体的杂乱场景重建为完整单物体网格的框架。

适配单物体先验模型

我们改进了 Pixal3D（一个单物体生成式先验模型），使其能够处理被遮挡的多视角图像，并利用它进行组合式场景生成。

基准数据集与应用

我们引入了一个包含数百个物体的密集杂乱场景基准数据集，并展示了同一处理流程可以将生成的 3DGS 世界（例如 Marble）转换为组合式网格。

工作原理简介（一分钟）

逐物体探索重建场景

每个物体都是独立的网格。悬停可高亮物体，点击可将其隔离，拖动滑块可将场景拆解。这就是 组合式 的含义。

— objects

拖动旋转 · 右键拖动平移 · 滚轮缩放 · 悬停/点击物体

查看器使用压缩网格进行交互式浏览。 如需获取原始网格，请参阅 GitHub 仓库 (https://github.com/AlayaLab/WorldSculpt)。

将生成的 3D 世界网格化

我们在 World Labs 的 Marble (https://www.worldlabs.ai/) 生成的 3D 高斯溅射场景上运行 WorldSculpt：从每个生成的 3D 高斯溅射场景的渲染视图中，WorldSculpt 为每个物体重建实例网格。源 3DGS 场景（左）和重建的网格（右）共享一个同步的相机——拖动任一侧，或拉动爆炸滑块将各部分从世界中分离出来。

3DGS 场景 WorldSculpt 部件

拖动旋转 · 右键拖动平移 · 滚轮缩放 · 悬停/点击右侧网格

Marble 3DGS 为便于网络浏览已精简至 80 万个高斯点。查看器使用压缩网格进行交互式浏览。 如需获取原始网格，请参阅 GitHub 仓库 (https://github.com/AlayaLab/WorldSculpt)。

植根于每个视角的规范空间先验

WorldSculpt 继承了 Pixal3D 的物体级先验模型，并为其配备了一个空间化的多视角条件通路——每个视角的 DINOv3 特征被提升到物体的规范体素网格中，并通过一个排列不变的 IBR 风格聚合器进行融合，通过零初始化层和 LoRA 注入。

WorldSculpt 方法概览

每物体虚拟规范视角

每个物体的 3D 边界框定义了一个规范立方体；锚定视角固定其方向。带位姿的场景图像被裁剪、掩码处理，并映射到生成先验模型所期望的虚拟规范空间中。

空间化条件约束

来自每个视角的 DINOv3 特征通过离心投影被提升到规范体素网格中，并与一个可学习的、排列不变的聚合器融合——因此，被遮挡区域能够被合理合成，而可见区域则保持忠实。

刚性组合

每个生成的网格都是完整且自洽的，因此组合场景只需进行刚性变换——无需跨物体融合，也无需每个物体的后优化处理。模型仅在单一规范物体上训练，却可扩展到每个场景数百个物体。

UE-MeshyScene——带有精确真值的杂乱场景

六个在虚幻引擎 5.8 中以 2560×1440 渲染的写实环境，密集分布着自然摆放的数百个资产——包含完整的单物体网格、相机位姿、实例掩码、3D 边界框和度量深度。

— objects

拖动旋转 · 右键拖动平移 · 滚轮缩放 · 悬停/点击物体 · 切换下方图层

由于版权限制，我们无法发布真值网格。如需在基准数据集上进行评估，请联系 王志翔 ([email protected])。

BibTeX

@misc{niu2026worldsculptgeneratingcompositionalworlds,
title={WorldSculpt: Generating Compositional Worlds from Grounded Videos},
author={Muyao Niu and Jixuan He and Ruihan Yu and Lian Fu and Yonghao Yu and Zheng-Hui Huang and Yifan Zhan and Fengbo Lan and Yongtao Ge and Yinqiang Zheng and Kaipeng Zhang and Zhixiang Wang},
year={2026},
eprint={2609.05416},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2609.05416},
}