SPW-Nav:一种用于语言引导导航的流式全景世界模型

Hugging Face Daily Papers 论文

摘要

SPW-Nav 是一种流式全景世界模型,能根据语言指令从单张全景图实时生成一分钟2K 360度视频,并支持中途切换指令,用于语言引导的导航与3D场景探索。

语言引导的全景视频生成有助于多种下游应用,例如交互式3D场景探索、虚拟现实体验和具身智能体训练。现有的全景生成器遵循预定义轨迹,而交互式世界模型则通过透视视角下的低层动作进行操作。我们提出了 SPW-Nav,一种流式全景世界模型,能够理解运动指令,并从单张全景图实时流式生成一分钟的2K 360度视频。SPW-Nav 将每条指令在先前生成的全景图中解读为相机运动。球面旋转解耦将旋转精确地施加在球面上,位姿对齐的条件机制在长序列流式生成中保持平移输入的有界性,多段记忆结合少量步数的生成器能够在指令切换时延续场景。我们还构建了 SPW-NavSet,一个包含相机轨迹和已验证指令的全景视频数据集。在语言驱动下,SPW-Nav 在相机跟随精度和视频质量方面超越了现有的全景生成器,并支持即时指令切换。
查看原文
查看缓存全文

缓存时间: 2026/10/09 06:19

论文页面 - SPW-Nav:一种用于语言引导导航的流式全景世界模型

来源:https://huggingface.co/papers/2610.08941

摘要

语言引导的全景视频生成有利于多种下游应用,例如交互式3D场景探索、虚拟现实体验和具身智能体训练。现有的全景生成器遵循预定义轨迹,而交互式世界模型则通过透视视角中的低层动作来执行操作。我们提出SPW-Nav,一种流式全景世界模型,能够理解移动指令,并从单张全景图中实时流式生成一分钟的2K 360度视频。SPW-Nav将先前生成全景图中的每条指令解读为相机运动。其中,球面旋转解耦在球面上精确施加旋转,位姿对齐条件化使平移输入在长时流式生成中保持有界,多时段记忆结合少步生成器则在指令变化时延续场景。我们还构建了SPW-NavSet,一个包含相机轨迹和经过验证指令的全景视频数据集。在语言驱动下,SPW-Nav在相机跟随精度和视频质量上超越了以往的全景生成器,并支持即时指令切换。

查看 arXiv 页面 (https://arxiv.org/abs/2610.08941) 查看 PDF (https://arxiv.org/pdf/2610.08941) 项目页面 (https://alaya-lab.github.io/SPW-Nav) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.08941)

引用本文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.08941,即可从此页面链接到该模型。

引用本文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.08941,即可从此页面链接到该数据集。

引用本文的 Space 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.08941,即可从此页面链接到该 Space。

包含本文的收藏 0

暂无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从此页面链接到该收藏。

相似文章

PanoWorld: 迈向360度全景世界中的空间超感知

Hugging Face Daily Papers

PanoWorld引入了球形空间交叉注意力机制用于全景推理,解决了多模态大语言模型在360度空间理解中的局限性。它构建了一个大规模管线用于几何感知监督,并提出一个诊断性基准,在多个基准上取得了最先进的结果。

WorldStream:通过分层规划与持久化状态流式生成交互式三维世界

Hugging Face Daily Papers

WorldStream是一个开放式的3D世界模型,通过分层规划与流式编译实现地形无限扩展、处理开放语言指令并持久保存用户编辑。宏/微规划器在有类型的决策模型上生成结构化决策状态,并通过全局记录维护可复现的世界状态与状态化NPC。