论文页面 - ScaleNav：面向语言条件局部导航的可扩展互联网视频预训练

来源：https://huggingface.co/papers/2610.25690

摘要

ScaleNav 从互联网第一人称视频中学习目标导向的视觉动力学，以生成机器人动作，实现语言条件下的局部导航，在仿真和真实部署中均取得了高成功率。

我们研究语言条件下的局部导航（https://huggingface.co/papers?q=language-conditioned%20local%20navigation），即机器人需要导航到其初始观测中可见的、由文本指定的目标，并在所描述的位置停下。端到端的导航策略需要多样化的训练数据才能在不同场景中泛化，然而真实机器人数据采集成本高昂，而仿真数据又存在仿真到现实（sim-to-real）的差距。互联网第一人称视频提供了一种可扩展的真实世界导航经验来源。我们的核心思路是从互联网第一人称视频中学习目标导向的视觉动力学（https://huggingface.co/papers?q=goal-directed%20visual%20dynamics），并利用这些动力学来支持机器人动作的生成。为此，我们提出了 ScaleNav（https://huggingface.co/papers?q=ScaleNav），一个包含三阶段训练的统一“世界-动作“框架（https://huggingface.co/papers?q=world-action%20framework）。我们首先在这些视频上进行指令条件视频预训练（https://huggingface.co/papers?q=instruction-conditioned%20video%20pretraining），学习在多样化的真实场景中，当摄像机接近所指令目标时观测如何变化。随后，动作对齐（https://huggingface.co/papers?q=Action%20alignment）阶段利用带动作标签的仿真数据，训练模型预测可执行的动作块（https://huggingface.co/papers?q=action%20chunks）。最后，联合微调（https://huggingface.co/papers?q=Joint%20fine-tuning）阶段将所有可训练组件共同优化以完成导航任务。ScaleNav（https://huggingface.co/papers?q=ScaleNav）在 Short-Horizon OVON 的单视角适配版本上达到 86.5% 的成功率，在我们提出的 HabitatGS-LN 基准上达到 94.9%，在两个基准上均优于所评测的基线方法。我们进一步在真实四足机器人上部署并评估了 ScaleNav（https://huggingface.co/papers?q=ScaleNav），结果支持了该模型泛化到真实世界导航的能力。代码和视频见 https://zju3dv.github.io/ScaleNav（https://huggingface.co/papers?q=ScaleNav）/

查看 arXiv 页面（https://arxiv.org/abs/2610.25690）查看 PDF（https://arxiv.org/pdf/2610.25690）项目页面（https://zju3dv.github.io/ScaleNav/）GitHub13（https://github.com/MachEmbodied/ScaleNav）加入收藏（https://huggingface.co/login?next=%2Fpapers%2F2610.25690）

在你的 agent 中获取这篇论文：

hf papers read 2610\.25690

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型1

Yangyihui/ScaleNav Robotics• 5B• 31 分钟前更新（https://huggingface.co/Yangyihui/ScaleNav）

引用本文的数据集2

Yangyihui/ScaleNav-Data 37 分钟前更新 • 97（https://huggingface.co/datasets/Yangyihui/ScaleNav-Data）

Yangyihui/ScaleNav-OVON-Subset 37 分钟前更新 • 15（https://huggingface.co/datasets/Yangyihui/ScaleNav-OVON-Subset）

引用本文的 Spaces1

包含本文的合集1