Robostral Navigate: 单摄像头AI导航（5分钟阅读）

# Robostral Navigate：单摄像头 AI 导航 | Mistral AI 来源：https://mistral.ai/news/robostral-navigate/ Robostral Navigate 是一个 8B 参数的模型，仅使用单个 RGB 摄像头，就能让机器人在复杂环境中自主导航。在未见过的 R2R-CE 基准测试中，它实现了 76.6% 的成功率——不仅优于多传感器方案，而且效率更高。该模型完全由内部开发，使用模拟数据和 token 高效技术构建，可泛化到不同类型的机器人，并能适应训练中未曾见过的真实世界障碍。该模型将基于指向的导航与强化学习相结合，实现了持续改进，为机器人领域统一具身 AI 铺平了道路。 今天，我们推出 Robostral Navigate，这是我们的第一个为具身导航构建的模型。它是一个 8B 参数模型，接收 RGB 图像和自然语言指令，驱动机器人在环境中移动： > “离开大厅，穿过走廊，进入储物间，然后停在第二排货架对面。” 要执行此类任务，其他模型通常依赖深度传感器、LiDAR 或多个摄像头协同工作。Robostral Navigate 仅使用一个普通 RGB 摄像头，无需任何深度传感器，却在 R2R-CE（连续环境中的逐房间导航）验证集未见过的数据上达到了 76.6% 的成功率。R2R-CE 是在训练中未曾见过的环境中执行指令的基准测试。因此，它比最佳的单摄像头方案高出 9.7 个百分点，比使用深度传感器或多个摄像头的最佳系统高出 4.5 个百分点。 我们的模型专为机器人导航设计，使机器人能够自主导航复杂环境，包括办公室、住宅楼、商业建筑和户外环境。 *Robostral Navigate 在一个正在运行的办公室中，沿着一条长视角指令路线完全自主运行。* 这项技术解锁了制造、配送、物流和酒店行业的众多应用，使其成为当今客户最需要的能力之一。只需给 Robostral Navigate 一条指令，它就能自主完成整个任务，在充满人员和障碍物的真实空间中移动，并且能够适应任何环境。 ## **亮点** - 在 R2R-CE 上达到最先进性能 - - **验证集见过的场景成功率：79.4%** - **验证集未见过的场景成功率：76.6%** - 仅依靠单个 RGB 摄像头运行，无需 LiDAR 或深度传感器 - 8B 模型，完全内部开发，全部在模拟中训练 - 可运行于轮式、足式和飞行机器人，并能泛化到不同尺寸的机器人 - 对相机内参差异具有鲁棒性 - 通过前缀缓存实现 token 高效训练 ## **基于指向的导航** 给定一个任务和一段观测历史，Robostral Navigate 通过**指向**来预测机器人下一步应该移动到哪里：它推断目标位置在机器人当前摄像头视野中的图像坐标，以及到达目标后所需的朝向。与依赖度量位移的命令不同，指向策略天然对相机内参和世界尺度的变化具有鲁棒性。 然而，当目标位置超出当前视野时，这种方法无法处理。当指向不可用时，模型会退回到机器人局部坐标系中的位移指令，例如： > “向前移动 2 米，向左移动 1.5 米，向左转 25 度。” ## **从头构建** Robostral Navigate 完全由内部开发，不依赖现有的开源 VLM。 该模型从我们专为指向、计数和物体定位等接地任务优化的视觉语言模型初始化而来。导航能力作为这些能力的自然延伸出现：一旦它理解了物体在哪里，它就能学习如何移动。 我们纯在模拟环境中构建了一个高效的数据生成流程。这使得我们能够快速迭代数据，最终生成了一个包含**约 400,000 条轨迹**、覆盖 **6,000 个场景**的数据集。 ## **高效的监督训练** Robostral Navigate 的一个关键要素是基于前缀缓存的高效训练算法。通过使用基于树的注意力掩码策略，我们的方法将整个回合压缩成一个单一序列，从而在单次前向传播中实现所有时间步的训练，同时防止时间步之间的信息泄露。 与每个时间步使用一个样本进行训练相比，我们的方法将训练 token 数量减少了 **22 倍**，同时保留了所有学习信号。实际上，这种方法**将原本需要数月完成的训练缩短到几天内完成**。 ## **在线强化学习** 我们利用在大规模 LLM 后训练方面的知识，通过在线强化学习来提升 Robostral Navigate 的性能。在监督训练阶段之后，我们使用 CISPO（一种在线强化学习算法）进一步改进模型性能。这使模型能够通过试错学习，从失败中恢复，并获得探索性行为，从而有效缓解了普通行为克隆的分布偏移问题。仅此一项就将成功率提升了 3.2%。我们没有看到任何性能停滞的迹象，因此我们相信更多的训练和实验将继续推高这个数字。 ## **下一步计划** Robostral Navigate 只是迈向统一具身智能体的第一步。 我们相信导航是通用机器人技术的基础能力。通过结合大规模模拟、高效训练和强大的接地先验，Robostral Navigate 证明了最先进的具身导航可以通过紧凑型模型和单个 RGB 摄像头实现。 开始您的具身前沿 AI 之旅，请与我们的团队交流: https://mistral.ai/contact ## **顺便说一句，我们正在招聘！** 我们导航模型的发布标志着向前迈出的重要一步，但我们的旅程远未结束。我们的目标是让机器人能够在复杂环境中自主导航——办公室、家庭、商业建筑和户外空间——还有很多工作要做。我们正在积极扩大机器人团队，并寻找与我们共享这一雄心的有才华的研究科学家和工程师。 如果您有兴趣加入我们，将无缝导航带给世界各地的机器人，我们欢迎您申请加入我们的团队！: https://jobs.lever.co/mistral?team=Research *作者：Théo Cachet, Arjun Majumdar, Srijan Mishra, Thomas Chabal, Chris Bamford, Elliot Chane-Sane, Benjamin Tibi, Ludovic Ho Fuh, Olivier Duchenne - AI 科学机器人团队*