论文页面 - 像机器人一样看：面向视觉-语言-动作模型的机器人中心点图

来源: https://huggingface.co/papers/2607.11498

摘要

视觉-语言-动作（VLA）模型根据视觉观察和语言指令预测机器人动作。这些动作在机器人自身的3D坐标系中定义，然而大多数VLA模型在相机坐标系中观察场景，从而在场景观察位置与动作定义位置之间产生了坐标系不匹配。在固定视角下这种不匹配尚可容忍——策略可以记忆单一的观察-动作映射——但随着大规模数据集从多种相机设置中聚合演示数据，策略必须跨视角泛化该映射，不匹配问题就变得愈发困难。我们通过机器人中心点图来解决这一不匹配问题，这是一种图像，其像素存储场景点在机器人坐标系中的3D坐标。点图提供机器人坐标系下的3D几何信息，同时保留预训练2D VLA所期望的密集H×W网格，因此能以最小的架构变更集成到现有VLA中。在RoboCasa上，点图同时改进了pi0.5和SmolVLA，并优于代表性的相机视角和3D感知基线。在真实机器人实验中，当相机被移动到训练中未见过的位置时，点图相对于仅使用RGB的策略的优势进一步扩大。

查看 arXiv 页面 (https://arxiv.org/abs/2607.11498)查看 PDF (https://arxiv.org/pdf/2607.11498)项目页面 (https://davian-robotics.github.io/pointmap/)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.11498)

在你的 agent 中获取这篇论文:

hf papers read 2607.11498

没有最新的 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型 0

暂无模型引用本论文

在模型 README.md 中引用 arxiv.org/abs/2607.11498 以从本页面链接。

引用本论文的数据集 0

暂无数据集引用本论文

在数据集 README.md 中引用 arxiv.org/abs/2607.11498 以从本页面链接。

引用本论文的 Spaces 0

暂无 Space 引用本论文

在 Space README.md 中引用 arxiv.org/abs/2607.11498 以从本页面链接。

包含本论文的收藏集 0

暂无包含本论文的收藏集

将本论文添加至收藏集 (https://huggingface.co/new-collection) 以从本页面链接。