DroneWAM:用于无人机视觉导航的高效世界行动模型

Hugging Face Daily Papers 论文

摘要

DroneWAM是一种用于无人机视觉导航的高效世界行动模型,采用基于JEPA的架构直接在表示空间中建模未来状态,从而降低计算成本。它引入了自适应展开以有效分配预测深度,并在模拟的DroneNav-6D数据集上实现了最佳轨迹精度。

世界行动模型使视觉导航智能体能够预判候选行动将如何改变未来观测,并基于预测结果执行动作。对于无人机,这一能力必须在严格的精度和效率约束下运行。我们提出DroneWAM,一种用于无人机视觉导航的高效世界行动模型。DroneWAM采用基于JEPA的架构,直接在表示空间中建模未来状态,避免了显式未来图像生成的成本。预训练的Resampler进一步将密集编码器特征压缩为更少的潜在令牌,减少了每个想象步骤中重复的计算。我们还引入了自适应展开,其中偏好训练的Gate根据当前场景自适应分配预测深度。为支持更丰富空中运动下的学习,我们构建了DroneNav-6D,一个模拟视觉导航数据集,包含同步的RGB观测、6自由度飞行轨迹、控制命令和随机风扰。在DroneNav-6D上,DroneWAM在比较方法中实现了最佳轨迹精度。自适应展开进一步将平均预测深度从8降低到4.58,同时提高了轨迹精度,表明预测计算可以更有效地在不同场景间分配。https://github.com/1e12Leon/DroneWAM{代码和数据} 将发布。
查看原文
查看缓存全文

缓存时间: 2026/09/29 08:14

论文页面 - DroneWAM:高效无人机视觉导航世界动作模型

来源:https://huggingface.co/papers/2609.33148

摘要

世界动作为视觉导航智能体提供了一种预测候选动作如何改变未来观察结果并基于预测结果行动的方式。对于无人机,这一能力必须在严格的准确性和效率约束下运行。我们提出 DroneWAM,一种面向无人机视觉导航的高效世界动作模型。DroneWAM 采用基于 JEPA 的架构,在表示空间中直接建模未来状态,避免了显式生成未来图像的高昂成本。预训练的重采样器进一步将密集的编码器特征压缩为更少的潜在 token,减少了在每个想象步骤中重复的计算。我们还引入了自适应展开机制,其中偏好训练的门控模块根据当前场景自适应分配预测深度。为支持更丰富航空运动下的学习,我们构建了 DroneNav-6D,这是一个模拟视觉导航数据集,包含同步的 RGB 观测、6 自由度飞行轨迹、控制指令以及随机风扰动。在 DroneNav-6D 上,DroneWAM 在所比较的方法中取得了最佳的轨迹准确性。自适应展开进一步将平均预测深度从 8 减少到 4.58,同时提高了轨迹准确性,证明了预测计算可以在不同场景中更有效地分配。代码与数据集将于 https://github.com/1e12Leon/DroneWAM 发布。

查看 arXiv 页面 (https://arxiv.org/abs/2609.33148)查看 PDF (https://arxiv.org/pdf/2609.33148)GitHub0 (https://github.com/1e12Leon/DroneWAM)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.33148)

在你的智能体中获取此论文:

hf papers read 2609.33148

没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.33148 以从本页链接它。

引用此论文的数据集0

无数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.33148 以从本页链接它。

引用此论文的 Space0

无 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.33148 以从本页链接它。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏夹 (https://huggingface.co/new-collection)以从本页链接它。

相似文章

AHA-WAM:异步视野自适应世界动作建模与观测引导上下文路由

Hugging Face Daily Papers

AHA-WAM是一种异步世界动作模型,采用双扩散Transformer将世界预测与动作执行解耦,实现了高效的长视野规划和实时控制。它在机器人操作任务上达到了最先进的性能,在RoboTwin上成功率达92.8%,在现实世界任务中达78.3%,同时实现了24.17 Hz的闭环控制。

基于渐进式视觉规划的世界动作建模

arXiv cs.AI

ProWAM 是一种渐进式世界动作模型,能够联合预测机器人动作以及有序的稀疏视觉子目标序列,从而在无需密集视频生成的情况下实现高效的长时程控制。该模型在 LIBERO-Plus 和 RoboTwin 上取得了当前最优的结果,并在真实世界中实现了 70% 的零样本成功率。