SuperNav:适用于任意任务与场景的智能体导航系统

Hugging Face Daily Papers 论文

摘要

SuperNav 是一个导航框架,它为预训练多模态大语言模型配备智能体框架与导航工具——无需针对导航任务进行微调——使模型能够理解指令并指定视觉目标点,同时将运动执行委托给导航工具。该框架在实例级、多物体及需求驱动任务上超越了四种基线方法,并在真实四足机器人上进行了演示。

通用服务机器人需要能够在陌生环境中处理多样化人类请求的导航系统,这要求系统同时具备任务泛化能力和场景泛化能力。现有的一些方法通过微调多模态大语言模型(MLLM)来预测导航动作,这使得模型的行为依赖于导航训练数据的覆盖范围,可能限制其对新请求和新环境的泛化能力。我们的核心思路是让 MLLM 专注于理解指令、感知场景和做出决策,同时保留其通用能力,将运动执行委托给导航工具。为实现这一思路,我们提出了 SuperNav,它为预训练 MLLM 配备了专门的智能体框架,无需对 MLLM 进行导航相关的微调。该框架通过导航技能(Navigation Skills)、面向物理交互的智能体工具(Tools)以及任务进度与上下文管理来支持决策。一个统一的视觉点接口将决策与运动连接起来,允许模型直接在图像中指定目标点,并根据执行反馈修正决策。这些组件共同支持在不同任务需求和环境下的持续导航。SuperNav 在实例级、多物体及需求驱动任务上均优于四种对比基线方法。在 HM3D 上的类别级评估以及在真实四足机器人上的部署进一步证明了其在不同环境中的适用性。项目主页:https://zju3dv.github.io/SuperNav/
查看原文
查看缓存全文

缓存时间: 2026/10/09 06:27

论文页面 - SuperNav:适用于任何场景中任意任务的智能体导航系统

来源:https://huggingface.co/papers/2610.12126

摘要

通用服务机器人需要能够在陌生环境中处理多样化人类请求的导航系统,兼顾任务通用性与场景通用性。现有的一些方法通过微调多模态大语言模型(MLLM)来预测导航动作,这使其行为依赖于导航训练数据的覆盖范围,可能限制其对新请求和新环境的泛化能力。我们的核心思路是让 MLLM 专注于解释请求、理解场景和做出决策,同时保留其通用能力,并将运动执行委托给导航工具。为了实现这一思路,我们提出了 SuperNav,它为预训练的 MLLM 配备了一个专门的智能体框架,而无需对 MLLM 进行导航相关的微调。我们的框架通过导航技能(Navigation Skills)、面向物理交互的智能体工具(Tools)、以及任务进度和上下文管理来支撑决策过程。一个统一的视觉-点位接口将决策与运动连接起来,允许模型直接在图像中指定目标位置,并根据执行反馈修正决策。这些组件共同支持了在不同任务需求和环境中的持续导航。SuperNav 在实例级、多目标和需求驱动任务上优于四个评测基线。在 HM3D 上的类别级评估以及在真实四足机器人上的部署,进一步证明了其跨环境的适用性。项目页面:https://zju3dv.github.io/SuperNav/

查看 arXiv 页面 (https://arxiv.org/abs/2610.12126) | 查看 PDF (https://arxiv.org/pdf/2610.12126) | 项目页面 (https://zju3dv.github.io/SuperNav/) | GitHub (https://github.com/zju3dv/SuperNav) | 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.12126)

在你的智能体中获取此论文:

hf papers read 2610.12126

没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无关联此论文的模型

在模型 README.md 中引用 arxiv.org/abs/2610.12126 以在此页面建立关联。

引用此论文的数据集 0

暂无关联此论文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2610.12126 以在此页面建立关联。

引用此论文的 Spaces 1

收录此论文的合集 0

暂无收录此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection) 以在此页面建立关联。

相似文章

HarnessVLN:通过代理线束统一无训练实体导航

Hugging Face Daily Papers

HarnessVLN是一个零样本、无需训练的实体导航框架,通过统一工具接口整合了感知、检索、定位、导航、恢复和终止功能,在R2R和RxR等基准测试中达到了最先进的结果。

NavHarness:迈向终身具身导航

Hugging Face Daily Papers

论文提出了 NavHarness——一种免训练的具身导航框架(harness),将记忆处理融入导航循环,使智能体能够在不同会话之间携带经验,实现终身导航。在 GOAT-Bench 上,相比仅依赖上下文的独立会话,该方法将成功率最高提升 22.6 个百分点,并借助 GPT-6/Astra 达到当前最优结果。