OuroWorld:将任意 3D 世界转化为多样且无限循环的 3D 动态摄影
摘要
OuroWorld 是一个无掩码框架,可将任意静态 3D Gaussian Splatting 场景转化为 3D 动态摄影(cinemagraph):一个具有生动多样运动、从任意视角均可无缝循环的动态场景。它利用视觉语言模型推断合理的动态并引导视频模型合成参考视频,随后将其提升并补全为多视角视频。为从这种不完美的监督中学习,作者提出了 Inconsistency-Robust Periodic 4DGS:傅里叶级数形变场从结构上保证循环性,而锚定于参考视角的 Grounded Drift Field 则吸收跨视角的不一致性。与局限于流体式运动的既有欧拉方法不同,该方法能够捕捉一般形变、物体运动和光照变化。作者还引入了一套无需真值的评估体系,涵盖生动性、自然度、循环接缝连贯性和场景质量。在 39 个重建与生成场景上,OuroWorld 优于所有基线,并在用户研究对比中以 70.8%-99.0% 的胜率胜出。项目主页:https://ouroworld.userwei.com
查看缓存全文
缓存时间: 2026/10/09 06:19
论文页面 - OuroWorld:让任意 3D 世界化为丰富多样、无限循环的 3D 动态画面
来源:https://huggingface.co/papers/2610.12461
摘要
近期的 3D 世界模型能够生成照片级真实、可自由探索的场景,但这些场景在时间上是静止冻结的。OuroWorld 是一个无需掩码的框架,能够将任意静态 3D Gaussian Splatting 场景转换为 3D 动态画面:从任意视角观看时,场景都展现出生动多样的动态效果,并且无缝循环。该框架利用一个视觉-语言模型推断合理的动态信息,并引导视频模型合成参考视频,随后将其提升并补全为多视角视频。为了从这种不完美的监督信号中学习,我们提出了不一致性鲁棒周期性 4DGS(Inconsistency-Robust Periodic 4DGS):一个基于傅里叶级数的形变场,通过构造保证循环性;同时引入一个锚定于参考视角的基底漂移场(Grounded Drift Field),用以吸收跨视角的不一致性。与以往局限于流体类运动的欧拉方法不同,我们能够捕捉一般的形变、物体运动以及光照变化。我们还提出了一套无需真实标注的评估体系,涵盖生动性、自然度、循环接缝连贯性以及场景质量。在 39 个重建与生成的场景上,OuroWorld 优于所有基线方法,并在用户研究对比中以 70.8%–99.0% 的胜率获得认可。项目主页:https://ouroworld.userwei.com
查看 arXiv 页面 (https://arxiv.org/abs/2610.12461) 查看 PDF (https://arxiv.org/pdf/2610.12461) 项目主页 (https://ouroworld.userwei.com/) GitHub 16 (https://github.com/youzhe0305/OuroWorld) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.12461)
在你的 agent 中获取此论文:
hf papers read 2610.12461
没有最新版 CLI?运行:curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
暂无模型关联此论文
在模型 README.md 中引用 arxiv.org/abs/2610.12461 即可从本页链接。
引用此论文的数据集 0
暂无数据集关联此论文
在数据集 README.md 中引用 arxiv.org/abs/2610.12461 即可从本页链接。
引用此论文的 Spaces 0
暂无 Space 关联此论文
在 Space README.md 中引用 arxiv.org/abs/2610.12461 即可从本页链接。
包含此论文的收藏夹 0
暂无收藏夹包含此论文
将此论文添加到收藏夹 (https://huggingface.co/new-collection) 即可从本页链接。
相似文章
MoVerse: 实时视频世界建模与全景高斯脚手架
MoVerse 通过创建360°全景图和3D高斯脚手架,从单张图像生成实时交互式视频,利用基于扩散的技术实现高效渲染。
Orbia:生成的视频能否构成一个一致的三维世界?
Orbia 提出了首个系统评估交互式视频世界模型 3D 一致性的基准,通过受控探索与回访协议,从输入保持、生成内容持久性和 3D 自洽性三个维度对 27 个模型进行评测。
HY-World 2.0:用于重建、生成和模拟三维世界的多模态世界模型
HY-World 2.0 是一个多模态世界模型框架,通过全景生成、轨迹规划和场景组合等专用模块,从文本、图像和视频中生成高保真度的三维高斯泼溅场景,在开源方法中实现了最先进的性能。
Wonder:更优的视频世界模型
Wonder是一个通用的视频世界模型,能够从一张图像或条件视频中实现实时、可控制摄像头的世界探索。它通过密集坐标场引入摄像头条件化,采用稀疏注意力记忆机制,并改进蒸馏技术,从而支持以16 FPS生成分钟级的视频。
Lyra:基于视频扩散模型自蒸馏的生成式 3D 场景重建
Lyra 提出一个自蒸馏框架,将视频扩散模型中的隐式 3D 知识蒸馏为显式的 3D Gaussian Splatting 表示,无需多视角训练数据即可从文本或单张图像生成静态与动态 3D 场景,并达到当前最优性能。