SceneFrom3D:基于几何条件的户外3D场景生成——视图调度与对象级控制

Hugging Face Daily Papers 论文

摘要

SceneFrom3D 是一个框架,能够从输入几何数据中自动调度视图,生成高质量的户外3D场景,并实现对外观和几何一致性的对象级控制。

基于几何条件的3D场景生成能够根据用户提供的几何数据创建3D环境,从而可以直接控制场景结构和对象布局。为了生成这样的3D场景,现有方法通常采用三阶段设计:首先定义视图调度,然后沿调度视图合成多视角观测,最后从生成的图像重建3D表示。然而,对于户外场景,定义视图成为一个主要瓶颈,因为户外场景的几何数据庞大、非结构化且无边界,难以获得既能提供足够覆盖又能支持稳定生成的视图。为了解决这一瓶颈,我们提出了 SceneFrom3D,一个能够从户外输入几何数据中自动调度视图的框架。SceneFrom3D 构建了一个有向生成图,其节点代表锚定视图,边代表插值轨迹,定义了哪些视图需要合成、哪些视图对需要插值以及生成顺序。除了自动视图调度外,SceneFrom3D 还通过对象级条件进一步提高了可控性,为每个对象分配一个身份图像用于外观引导,以及一个几何一致性参数用于对输入几何的区域级控制。实验表明,SceneFrom3D 实现了最先进的基于几何条件的户外3D场景生成,生成了高质量的场景,且对象外观和几何一致性可控。
查看原文
查看缓存全文

缓存时间: 2026/07/09 07:52

论文页面 - SceneFrom3D:基于几何条件的室外3D场景生成,通过视图调度与对象级控制

来源:https://huggingface.co/papers/2607.04540

摘要

SceneFrom3D 通过自动从输入几何体调度视图,并利用身份图像和几何遵循参数控制物体外观与几何贴合度,生成 3D 室外场景。

基于几何条件的 3D 场景生成能够从用户提供的几何体创建 3D 环境,从而直接控制场景结构和物体布局。为生成此类 3D 场景,现有方法通常采用三阶段设计:首先定义视图调度,然后沿调度视图合成多视角观测,最后从生成的图像重建 3D 表示。然而,对于室外场景,定义视图调度成为主要瓶颈——因为几何体庞大、非结构化且无边界,难以获取既能提供足够覆盖又能支持稳定生成的视图。为解决这一瓶颈,我们提出 SceneFrom3D,一个能够自动从室外输入几何体调度视图的框架。SceneFrom3D 构建一个有向生成图,其中节点表示锚定视图,边表示插值轨迹,从而定义要合成的视图、需插值的视图对以及生成的顺序。除了自动视图调度,SceneFrom3D 还通过对象级条件控制进一步提升可控性:为每个对象分配身份图像以指导外观,并分配几何遵循参数以实现对输入几何体的区域级控制。实验表明,SceneFrom3D 在基于几何条件的室外 3D 场景生成中达到最先进水平,可生成高质量场景,并实现对物体外观和几何贴合度的可控调节。

查看 arXiv 页面 (https://arxiv.org/abs/2607.04540)
查看 PDF (https://arxiv.org/pdf/2607.04540)
项目页面 (https://kimgeonung.github.io/SceneFrom3D/)
GitHub1 (https://github.com/KIMGEONUNG/SceneFrom3D)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.04540)

在您的 Agent 中获取此论文:

hf papers read 2607.04540

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.04540 以在此页面建立链接。

引用此论文的数据集0

暂无数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.04540 以在此页面建立链接。

引用此论文的 Space0

暂无 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.04540 以在此页面建立链接。

包含此论文的收藏集0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以在此页面建立链接。

相似文章

Sat3DGen:基于单张卫星图像的全面街景级3D场景生成

Hugging Face Daily Papers

Sat3DGen采用几何优先的方法,从单张卫星图像生成街景级3D场景,通过新颖的约束条件和训练策略,提高了几何精度和照片级真实感。该方法在VIGOR-OOD基准测试上相比先前工作有显著改进。

SynCity 3000: 自举场景级3D扩散

Hugging Face Daily Papers

SynCity 3000 提出了一种框架,用于生成大规模、全局一致的3D场景,该框架通过将图像到3D生成器适配为卷积算子,并在来自新数据引擎的合成场景数据上进行微调来实现。