UniNav：用于视觉导航的统一世界-动作扩散模型

# UniNav：用于视觉导航的统一世界-动作扩散模型

Source: https://arxiv.org/html/2608.03244

###### 摘要

图像目标视觉导航是具身智能体的基本能力。现有导航策略能够高效预测航点轨迹，但缺乏视觉预见能力；而导航世界模型虽能预测未来观测，却往往需要昂贵的规划展开。我们提出了 UniNav，一个统一的世界-动作模型，通过单一扩散过程同时生成未来视觉观测和连续航点轨迹。给定历史帧和目标图像，UniNav 在单个 Transformer 内联合去噪视觉与航点 token，在共享框架中统一了未来预测和动作生成。为提升空间接地性，我们引入了几何感知的相机 token。我们还同时在带有轨迹标注的导航数据和纯视频数据上训练，使模型无需航点标注即可从多样化视频中获益。基于这一统一框架，我们提出了两个变体：UniNav-Full 联合预测可解释的未来观测及其对应轨迹，而 UniNav-Fast 在推理时移除未来图像 token，实现高效的轨迹预测。在导航基准上的实验表明，UniNav 在所有数据集上的 ATE 均优于最强基线。通过单步推理，UniNav-Fast 实现了 0.10.1 秒的延迟，且精度无明显下降。代码将开源。

\raisebox{-0.43057pt}{\scalebox{1.05}{\Letter}}\raisebox{-0.43057pt}{\scalebox{1.05}{\Letter}}footnotetext:通讯作者。

## 1 引言

参见图注 图 1：视觉导航范式对比。(a) 纯策略方法直接将观测历史和目标图像映射为航点轨迹，不显式建模未来观测。(b) 动作条件导航世界模型为候选动作序列生成视觉展开，并通过比较想象结果与目标来选择动作。(c) 我们提出的统一世界-动作扩散模型在单一架构内联合预测可执行的航点轨迹及其对应的自我中心视觉未来，同时在无需视觉预测时支持高效的纯动作推理。

视觉导航是具身智能体的基本能力，要求机器人从自我中心观测出发到达视觉目标，同时跨环境和跨本体泛化。近期通用导航策略（动作）模型，如 GNM（Shahet al.2023a (https://arxiv.org/html/2608.03244#bib.bib15)）、ViNT（Shahet al.2023b (https://arxiv.org/html/2608.03244#bib.bib14)）和 NoMaD（Sridharet al.2024 (https://arxiv.org/html/2608.03244#bib.bib13)），从大规模多样的机器人轨迹数据中学习可迁移的到达目标行为。这些模型有效地预测局部航点轨迹，为机器人视觉导航建立了有前景的基础模型范式。然而，它们主要将导航表述为直接的观测到航点预测。

相比之下，人类导航天然伴随着视觉预见：在走向目的地之前，我们能够预判场景和目标在未来视角下将如何呈现。这种预见为动作选择提供了可解释的基础，并能对环境中未观察到的部分进行推理。纯航点策略不显式建模这些未来视觉状态，限制了其可解释性以及将轨迹预测锚定在预期的视觉和几何变化上的能力。导航世界模型通过预测以候选运动序列为条件的未来观测来弥补这一局限（Baret al.2025 (https://arxiv.org/html/2608.03244#bib.bib19)；Zhanget al.2026 (https://arxiv.org/html/2608.03244#bib.bib17)；Kimet al.2026a (https://arxiv.org/html/2608.03244#bib.bib16)）。例如，NWM（Baret al.2025 (https://arxiv.org/html/2608.03244#bib.bib19)）为候选轨迹生成视频展开，并评估想象出的未来是否到达目标。后续工作利用密集视觉表示（Zhanget al.2026 (https://arxiv.org/html/2608.03244#bib.bib17)）或用于高效规划的紧凑潜表示（Kimet al.2026a (https://arxiv.org/html/2608.03244#bib.bib16)）提升展开质量。尽管这些方法提供了显式的视觉预见，但其“先生成后评估”范式计算成本高昂，因为每条候选轨迹都需要独立的展开。随着候选轨迹数量的增加，实时闭环导航变得越来越困难。

世界-动作模型提供了一种更高效的替代方案，在单一生成过程中联合建模未来世界状态和机器人动作。近期机器人操作系统的研究表明，统一的视频-动作表示能够有效耦合视觉预测与控制生成（Yeet al.2026b (https://arxiv.org/html/2608.03244#bib.bib28)；Liet al.2025 (https://arxiv.org/html/2608.03244#bib.bib35)；Zhuet al.2025 (https://arxiv.org/html/2608.03244#bib.bib36)；Biet al.2026 (https://arxiv.org/html/2608.03244#bib.bib37)；Liet al.2026b (https://arxiv.org/html/2608.03244#bib.bib47)；Paiet al.2025 (https://arxiv.org/html/2608.03244#bib.bib48)；Liaoet al.2025 (https://arxiv.org/html/2608.03244#bib.bib49)；Guoet al.2026 (https://arxiv.org/html/2608.03244#bib.bib50)；Liet al.2026e (https://arxiv.org/html/2608.03244#bib.bib51))。然而，将此范式扩展到视觉导航面临挑战，原因在于大规模的自我中心运动、长视界规划，以及在几何约束下联合建模未来观测和连续航点轨迹的需求。

近期导航世界-动作模型已开始应对这一挑战。UniWM（Donget al.2025 (https://arxiv.org/html/2608.03244#bib.bib53)）在记忆增强的自回归模型中交错进行动作预测和未来视角生成，而 WAM-Nav（Yanget al.2026 (https://arxiv.org/html/2608.03244#bib.bib52)）利用扩散 Transformer 联合生成轨迹和潜视觉预见。然而，现有方法要么依赖昂贵的视觉展开，要么采用扩展性差的自回归架构，要么缺乏显式的度量几何监督。此外，视觉导航天然是多模态的，多条可行轨迹会对应不同的未来观测。扩散模型非常适合捕获这种联合世界-动作分布。结合预训练视频扩散模型的强大先验，它们为联合预测未来观测和导航动作提供了可扩展的基础。这促使我们提出一种几何感知的统一世界-动作扩散模型，同时提供可解释的视觉预见和高效的实时航点预测。

为此，我们提出 UniNav，一个用于可预测图像目标视觉导航的统一世界-动作扩散模型。UniNav 基于预训练的 Wan2.1-1.3B 视频扩散模型（Wanget al.2025 (https://arxiv.org/html/2608.03244#bib.bib40)），联合预测未来的自我中心观测和连续航点轨迹。给定历史观测和目标图像，未来视觉潜变量、航点 token、几何感知相机 token（Linet al.2025 (https://arxiv.org/html/2608.03244#bib.bib45)）和寄存器 token（Darcetet al.2024 (https://arxiv.org/html/2608.03244#bib.bib54)；Zhuet al.2025 (https://arxiv.org/html/2608.03244#bib.bib36)；Oquabet al.2023 (https://arxiv.org/html/2608.03244#bib.bib56)；Wanget al.2026 (https://arxiv.org/html/2608.03244#bib.bib55)）被统一为 token 序列，并在共享的流匹配目标（Lipmanet al.2022 (https://arxiv.org/html/2608.03244#bib.bib46)）下优化，将视觉预见与可执行导航耦合在一起。为提升空间接地性，我们引入了几何感知的相机 token 去噪，其中由冻结的几何基础模型（Linet al.2025 (https://arxiv.org/html/2608.03244#bib.bib45)）提取的相机 token 为共享世界-动作表示提供 3D 监督。为提升可扩展性，UniNav 联合利用带有轨迹标注的导航数据和纯视频数据，使大量未标注视频无需航点标注即可提供额外的视觉和几何监督。最后，我们开发了两个互补变体。UniNav-Full 联合生成未来观测和航点轨迹，提供可解释的视觉预见；而 UniNav-Fast 采用非对称注意力（Yuanet al.2026 (https://arxiv.org/html/2608.03244#bib.bib31)；Yeet al.2026a (https://arxiv.org/html/2608.03244#bib.bib32)；Liet al.2026a (https://arxiv.org/html/2608.03244#bib.bib72)）将航点预测与噪声图像 token 解耦，从而在测试时丢弃图像 token 实现高效推理。

我们的贡献总结如下：

- 我们提出了一个统一的世界-动作扩散框架，利用预训练的视频扩散 Transformer 联合建模未来的自我中心观测和连续航点轨迹。
- 我们引入了几何感知的相机 token 去噪，将冻结几何基础模型的 3D 结构迁移到共享世界-动作表示中。
- 我们整合了纯视频数据，无需每个序列都有航点标注即可提供额外的视觉和几何监督。
- 我们开发了两个互补变体：UniNav-Full 用于联合视觉与轨迹生成，UniNav-Fast 用于高效的航点预测。在多个公共视觉导航基准上的大量实验表明，与现有方法相比，我们持续取得了性能提升。

## 2 相关工作

### 2.1 图像目标条件视觉导航

基于学习的视觉导航已从数据集特定策略发展为在多样化多机器人轨迹上训练的通用模型。GNM（Shahet al.2023a (https://arxiv.org/html/2608.03244#bib.bib15)）在机器人平台和环境之间建立了共享的目标条件策略，而 ViNT（Shahet al.2023b (https://arxiv.org/html/2608.03244#bib.bib14)）引入了基于 Transformer 的时间建模，以改善零样本迁移。NoMaD（Sridharet al.2024 (https://arxiv.org/html/2608.03244#bib.bib13)）进一步用扩散策略取代了确定性动作预测，提升了多模态导航行为下的轨迹生成能力。后续工作聚焦于提升安全性、效率和几何推理。NavDP（Caiet al.2025 (https://arxiv.org/html/2608.03244#bib.bib18)）和 NaviDiffusor（Zenget al.2025 (https://arxiv.org/html/2608.03244#bib.bib20)）引入特权信息或代价引导以改善障碍物避免。FlowNav（Godeet al.2025 (https://arxiv.org/html/2608.03244#bib.bib21)）采用条件流匹配以加快推理，并引入单目深度先验；而 LoGoPlanner（Penget al.2025 (https://arxiv.org/html/2608.03244#bib.bib22)）将状态估计和度量 3D 推理集成到扩散策略中。其他方法显式构建几何表示，例如 BEINGS（Menget al.2025 (https://arxiv.org/html/2608.03244#bib.bib23)）使用的 3D 高斯泼溅地图。这些方法主要优化动作预测，并不显式建模预测轨迹的未来视觉结果。相比之下，UniNav 保留了高效的航点预测路径，同时通过世界-动作训练联合学习未来视觉动态。

### 2.2 导航世界模型

导航世界模型以候选动作为条件预测未来的自我中心观测，从而通过想象的展开进行规划。NWM（Baret al.2025 (https://arxiv.org/html/2608.03244#bib.bib19)）遵循这一范式，为动作序列生成未来视频帧并通过模型预测控制选择动作。尽管此类视觉展开提供了可解释的预测，但评估多条候选轨迹需要重复的视频生成，导致大量计算开销（Kimet al.2026a (https://arxiv.org/html/2608.03244#bib.bib16)）。近期工作提升了这一规划范式的效率或一致性。MWM（Yanet al.2026 (https://arxiv.org/html/2608.03244#bib.bib38)）将结构学习与动作一致性后训练分离，而 CompACT（Kimet al.2026a (https://arxiv.org/html/2608.03244#bib.bib16)）将观测压缩为少量离散潜 token 以加快规划。ReL-NWM（Zhanget al.2025 (https://arxiv.org/html/2608.03244#bib.bib27)）和 RAE-NWM（Zhanget al.2026 (https://arxiv.org/html/2608.03244#bib.bib17)）将世界建模从像素空间迁移到 DINOv2 特征空间，在保持语义和空间结构的同时降低生成成本。NavDreamer（Huanget al.2026 (https://arxiv.org/html/2608.03244#bib.bib24)）则生成导航视频并从想象的观测中提取 3D 航点。尽管有这些进展，动作条件世界模型通常仍需为候选轨迹进行单独的展开。UniNav 通过在共享生成过程中直接建模未来观测和航点轨迹，避免了这一瓶颈，并提供了一种无需生成未来图像即可预测动作的快速推理模式。

### 2.3 统一世界-动作模型

统一世界-动作模型在共享生成架构中联合学习视觉动态和机器人动作。UVA（Liet al.2025 (https://arxiv.org/html/2608.03244#bib.bib35)）联合建模潜视频和动作，并采用解耦解码；UWM（Zhuet al.2025 (https://arxiv.org/html/2608.03244#bib.bib36)）独立地对视频和动作 token 加噪，以支持策略学习、动态建模和视频生成。Fast-WAM（Yuanet al.2026 (https://arxiv.org/html/2608.03244#bib.bib31)）和 GigaWorld-Policy（Yeet al.2026a (https://arxiv.org/html/2608.03244#bib.bib32)）进一步表明，训练期间的视觉预测可以在部署时无需视频合成的情况下改善动作生成。这一范式已通过多种骨干和表示设计得到探索。Motus（Biet al.2026 (https://arxiv.org/html/2608.03244#bib.bib37)）在混合 Transformer 架构中结合了语言、视频和动作专家；而 DreamZero（Yeet al.2026b (https://arxiv.org/html/2608.03244#bib.bib28)）、Cosmos Policy（Kimet al.2026b (https://arxiv.org/html/2608.03244#bib.bib29)）和 LingBot-VA（Liet al.2026c (https://arxiv.org/html/2608.03244#bib.bib30)）则适配预训练视频生成模型用于机器人控制。AIM（Fanet al.2026 (https://arxiv.org/html/2608.03244#bib.bib33)）和 Multi-View VDP（Liet al.2026d (https://arxiv.org/html/2608.03244#bib.bib34)）进一步引入了基于空间价值图和多视角 3D 感知视频潜变量的结构化表示。近期的导航方法也开始采用类似的形式。UniWM（Donget al.2025 (https://arxiv.org/html/2608.03244#bib.bib53)）在带层次记忆的自回归多模态模型中交错进行离散动作预测和未来视角生成；而 WAM-Nav（Yanget al.2026 (https://arxiv.org/html/2608.03244#bib.bib52)）使用扩散 Transformer 联合建模长视界动作和短视界潜视觉预见。相比之下，UniNav 适配预训练的视频扩散 Transformer 用于图像目标导航，并对连续的未来的视频潜变量、航点 token 和相机几何 token 联合执行流匹配。这使得解码的 RGB