论文页面 - OpenFlyV2：用于空中感知与导航的机载视觉-语言-动作模型

来源：https://huggingface.co/papers/2610.39287 作者：

,

,

,

,

,

,

,

,

,

,

摘要

OpenFlyV2 是一个统一的机载视觉-语言-动作（Vision-Language-Action）模型，能够在资源受限的硬件上借助共享的多模态表征实现实时空中导航与推理。

人类认知能够灵活地依托一套共享的感知基础来理解环境、关注被指涉的实体、推理空间关系并采取行动。赋予空中机器人类似的功能组织形式仍然充满挑战：现有系统往往只专注于单一能力、依赖机载之外的计算资源，或无法在资源受限平台上维持闭环运行。我们提出了 OpenFlyV2，一种统一的机载视觉-语言-动作架构，它使用共享的视觉-语言表征，在单一模型内同时支持语义理解、语言引导的感知、空间推理以及连续的空中控制。一个轻量的动作专家（action expert）将共享的多模态上下文转换为短时域的飞行航点，而运动感知的时序记忆（temporal memory）与动作先验（action priors）则降低了闭环执行的计算开销。我们构建了一个基于仿真的数据集，包含约 70,000 条导航轨迹和 60,000 组视觉-语言指令-响应对。OpenFlyV2 在 NVIDIA Jetson Orin NX 上完全机载地以 10 Hz 生成动作块，每个动作块包含 12 个航点。它能够零样本地从仿真迁移到实体四旋翼飞行，在四个真实环境中的导航成功率达到 48%，且无需任何真实世界的空中训练数据。大量结果表明，在资源受限的空中平台上，广泛的视觉-语言能力与连续的闭环飞行可以共存于同一个模型之中。代码将公开发布于 https://github.com/Ideal-ljl/AeroBrain。

查看 arXiv 页面 (https://arxiv.org/abs/2610.39287)　查看 PDF (https://arxiv.org/pdf/2610.39287)　项目页面 (https://ideal-ljl.github.io/AeroBrain/)　GitHub1 (https://github.com/Ideal-ljl/AeroBrain)　加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.39287)

引用该论文的模型 0

暂无模型与该论文关联

在模型的 README.md 中引用 arxiv.org/abs/2610.39287，即可从此页面链接到该模型。

引用该论文的数据集 0

暂无数据集与该论文关联

在数据集的 README.md 中引用 arxiv.org/abs/2610.39287，即可从此页面链接到该数据集。

引用该论文的 Spaces 0

暂无 Space 与该论文关联

在 Space 的 README.md 中引用 arxiv.org/abs/2610.39287，即可从此页面链接到该 Space。

包含该论文的合集 0

暂无合集包含该论文

将该论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到它。