DroneWAM:用于无人机视觉导航的高效世界行动模型
摘要
DroneWAM是一种用于无人机视觉导航的高效世界行动模型,采用基于JEPA的架构直接在表示空间中建模未来状态,从而降低计算成本。它引入了自适应展开以有效分配预测深度,并在模拟的DroneNav-6D数据集上实现了最佳轨迹精度。
查看缓存全文
缓存时间: 2026/09/29 08:14
论文页面 - DroneWAM:高效无人机视觉导航世界动作模型
来源:https://huggingface.co/papers/2609.33148
摘要
世界动作为视觉导航智能体提供了一种预测候选动作如何改变未来观察结果并基于预测结果行动的方式。对于无人机,这一能力必须在严格的准确性和效率约束下运行。我们提出 DroneWAM,一种面向无人机视觉导航的高效世界动作模型。DroneWAM 采用基于 JEPA 的架构,在表示空间中直接建模未来状态,避免了显式生成未来图像的高昂成本。预训练的重采样器进一步将密集的编码器特征压缩为更少的潜在 token,减少了在每个想象步骤中重复的计算。我们还引入了自适应展开机制,其中偏好训练的门控模块根据当前场景自适应分配预测深度。为支持更丰富航空运动下的学习,我们构建了 DroneNav-6D,这是一个模拟视觉导航数据集,包含同步的 RGB 观测、6 自由度飞行轨迹、控制指令以及随机风扰动。在 DroneNav-6D 上,DroneWAM 在所比较的方法中取得了最佳的轨迹准确性。自适应展开进一步将平均预测深度从 8 减少到 4.58,同时提高了轨迹准确性,证明了预测计算可以在不同场景中更有效地分配。代码与数据集将于 https://github.com/1e12Leon/DroneWAM 发布。
查看 arXiv 页面 (https://arxiv.org/abs/2609.33148)查看 PDF (https://arxiv.org/pdf/2609.33148)GitHub0 (https://github.com/1e12Leon/DroneWAM)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.33148)
在你的智能体中获取此论文:
hf papers read 2609.33148
没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型0
无模型链接此论文
在模型的 README.md 中引用 arxiv.org/abs/2609.33148 以从本页链接它。
引用此论文的数据集0
无数据集链接此论文
在数据集的 README.md 中引用 arxiv.org/abs/2609.33148 以从本页链接它。
引用此论文的 Space0
无 Space 链接此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2609.33148 以从本页链接它。
包含此论文的收藏集0
无收藏集包含此论文
将此论文添加到收藏夹 (https://huggingface.co/new-collection)以从本页链接它。
相似文章
SimWAM:一种用于端到端自动驾驶的简单世界动作模型
SimWAM是一种简单而有效的世界动作模型,用于端到端自动驾驶,它将视频生成纯粹用作训练信号,在NAVSIM上实现了最先进的91.5 PDMS,同时降低了推理延迟。
Light-WAM:基于状态融合动作解码的高效世界动作模型
Light-WAM是一种轻量级世界动作模型,用于高效机器人操作。它采用紧凑视频骨干网络和降采样潜在空间进行未来视频监督,在保持低推理延迟的同时实现了高性能。
AHA-WAM:异步视野自适应世界动作建模与观测引导上下文路由
AHA-WAM是一种异步世界动作模型,采用双扩散Transformer将世界预测与动作执行解耦,实现了高效的长视野规划和实时控制。它在机器人操作任务上达到了最先进的性能,在RoboTwin上成功率达92.8%,在现实世界任务中达78.3%,同时实现了24.17 Hz的闭环控制。
基于渐进式视觉规划的世界动作建模
ProWAM 是一种渐进式世界动作模型,能够联合预测机器人动作以及有序的稀疏视觉子目标序列,从而在无需密集视频生成的情况下实现高效的长时程控制。该模型在 LIBERO-Plus 和 RoboTwin 上取得了当前最优的结果,并在真实世界中实现了 70% 的零样本成功率。
EVO-WAM:通过视频-动作验证演化世界动作模型
EVO-WAM 是一个框架,通过从生成的视频-动作轨迹中学习,将世界动作模型适应于未见过的机器人任务,显著提高了成功率,而无需额外的专家示范。