Paper page - Walking in the Implicit: Interactive World Exploration via Neural Scene Representation

来源：https://huggingface.co/papers/2606.30045

摘要

NeuWorld 通过将场景表示为紧凑的神经隐式状态，并利用 Transformer VAE 与扩散 Transformer 进行轨迹条件渲染，实现了高效的交互式视频生成。

用于相机控制的世界探索的交互式视频生成系统会逐步扩展潜视频帧序列，将状态转换与高频观测合成纠缠在一起。我们提出 Walking in the Implicit，这是一种以场景为中心的范式，将滚动变量从帧潜在变量更改为固定长度、可渲染的隐式状态，称为神经隐式场景（NIS）。这使交互式生成分解为紧凑场景状态的随机转换和给定采样状态下的确定性姿态条件渲染。我们将该范式实例化为 NeuWorld：一个 Transformer VAE 从稀疏的姿态帧中学习局部锚定的 NIS，一个扩散 Transformer 在给定未来相机轨迹和基于几何感知检索的历史信息的条件下演化 NIS。通过重用 VAE 编码器作为统一的条件器，NeuWorld 将相机、参考图像和历史线索映射到同一 NIS 模态，避免了外部异构编码器。NeuWorld 在公开的姿态视图数据上从头训练，无需预训练的视频主干或辅助 3D 重建器，即可实现强大的长程一致性，并具有较高的推理效率。

查看 arXiv 页面 (https://arxiv.org/abs/2606.30045)查看 PDF (https://arxiv.org/pdf/2606.30045)项目页面 (https://lizhiqi49.github.io/NeuWorld)GitHub17 (https://github.com/WU-CVGL/NeuWorld)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.30045)

在你的 Agent 中获取此论文：

hf papers read 2606\.30045

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2606.30045 以从此页面链接。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.30045 以从此页面链接。

引用此论文的空间0

没有空间链接到此论文

在空间 README.md 中引用 arxiv.org/abs/2606.30045 以从此页面链接。

包含此论文的收藏0

没有收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接。