SPW-Nav:一种用于语言引导导航的流式全景世界模型
摘要
SPW-Nav 是一种流式全景世界模型,能根据语言指令从单张全景图实时生成一分钟2K 360度视频,并支持中途切换指令,用于语言引导的导航与3D场景探索。
查看缓存全文
缓存时间: 2026/10/09 06:19
论文页面 - SPW-Nav:一种用于语言引导导航的流式全景世界模型
来源:https://huggingface.co/papers/2610.08941
摘要
语言引导的全景视频生成有利于多种下游应用,例如交互式3D场景探索、虚拟现实体验和具身智能体训练。现有的全景生成器遵循预定义轨迹,而交互式世界模型则通过透视视角中的低层动作来执行操作。我们提出SPW-Nav,一种流式全景世界模型,能够理解移动指令,并从单张全景图中实时流式生成一分钟的2K 360度视频。SPW-Nav将先前生成全景图中的每条指令解读为相机运动。其中,球面旋转解耦在球面上精确施加旋转,位姿对齐条件化使平移输入在长时流式生成中保持有界,多时段记忆结合少步生成器则在指令变化时延续场景。我们还构建了SPW-NavSet,一个包含相机轨迹和经过验证指令的全景视频数据集。在语言驱动下,SPW-Nav在相机跟随精度和视频质量上超越了以往的全景生成器,并支持即时指令切换。
查看 arXiv 页面 (https://arxiv.org/abs/2610.08941) 查看 PDF (https://arxiv.org/pdf/2610.08941) 项目页面 (https://alaya-lab.github.io/SPW-Nav) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.08941)
引用本文的模型 0
暂无模型关联此论文
在模型的 README.md 中引用 arxiv.org/abs/2610.08941,即可从此页面链接到该模型。
引用本文的数据集 0
暂无数据集关联此论文
在数据集的 README.md 中引用 arxiv.org/abs/2610.08941,即可从此页面链接到该数据集。
引用本文的 Space 0
暂无 Space 关联此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2610.08941,即可从此页面链接到该 Space。
包含本文的收藏 0
暂无收藏包含此论文
将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从此页面链接到该收藏。
相似文章
PanoVLN:迈向有效的全景视觉语言导航
PanoVLN引入了用于视觉语言导航的全景观测,通过改进动作规划、训练监督和视觉表示,实现了相比先前方法的显著提升。
ScaleNav:面向语言条件局部导航的可扩展互联网视频预训练
ScaleNav通过在互联网第一人称视频上预训练目标导向视觉动态,结合动作对齐与联合微调,实现语言条件下的局部导航,在仿真与真实四足机器人部署上取得高成功率并超越基线。
SatNav:一个基于卫星图像的大规模长时程无人机视觉-语言导航基准
介绍了 SatNav,一个基于高分辨率卫星图像构建的可扩展长时程无人机视觉-语言导航基准,包含 18 个城市 59 个场景的 118K 任务,并提出模块化框架 SwiftVLN 及卫星到真实无人机的迁移实验。
PanoWorld: 迈向360度全景世界中的空间超感知
PanoWorld引入了球形空间交叉注意力机制用于全景推理,解决了多模态大语言模型在360度空间理解中的局限性。它构建了一个大规模管线用于几何感知监督,并提出一个诊断性基准,在多个基准上取得了最先进的结果。
WorldStream:通过分层规划与持久化状态流式生成交互式三维世界
WorldStream是一个开放式的3D世界模型,通过分层规划与流式编译实现地形无限扩展、处理开放语言指令并持久保存用户编辑。宏/微规划器在有类型的决策模型上生成结构化决策状态,并通过全局记录维护可复现的世界状态与状态化NPC。