论文页面 - 机器人不仅仅需要VLA与世界模型

来源：https://huggingface.co/papers/2606.06556

摘要

机器人智能的进步需要借助专门接口来整合非结构化行为数据——包括标注、具身映射、世界建模和奖励推断——而非仅仅依赖策略扩展。

通用机器人智能常被视作一个策略扩展问题：收集更多机器人演示数据（https://huggingface.co/papers?q=robot%20demonstrations），训练更大的视觉-语言-动作（VLA）模型，期望由此带来更广泛的泛化能力。在这篇立场论文中，我们认为这种框架是不完整的。核心瓶颈不仅在于策略学习，更在于缺少一种机制，能将世界中丰富的非结构化行为数据转化为可用的机器人监督信号。人类运动、互联网视频、仿真rollout以及交互式演示中包含了关于任务、目标、接触点、失败和物理约束的丰富信息，然而这些信息大多无法被机器人策略直接使用，因为它们缺乏具身特定的动作标签、任务语义和奖励结构。我们指出了下一代机器人学中缺失的四个组件：用于自动标注非结构化行为的数据接口、用于将人类运动重定向（https://huggingface.co/papers?q=retargeting）到机器人动作的具身接口、用于物理接地3D推理（https://huggingface.co/papers?q=3D%20reasoning）的世界模型接口，以及用于从视频和语言推断任务进度与成功的奖励接口。我们综述了机器人基础模型、跨具身数据集（https://huggingface.co/papers?q=cross-embodiment%20datasets）、从视频中学习、世界模型（https://huggingface.co/papers?q=world%20models）以及奖励建模方面的最新进展，并提出了一项研究议程：构建不仅能从机器人演示（https://huggingface.co/papers?q=robot%20demonstrations）中学习，还能从更广泛的物理世界中学习的机器人系统。

查看arXiv页面（https://arxiv.org/abs/2606.06556） 查看PDF（https://arxiv.org/pdf/2606.06556） 添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.06556）

在你的代理中获取此论文：

hf papers read 2606\.06556

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型与此论文关联

请在一个模型README.md中引用 arxiv.org/abs/2606.06556 以便在此页面链接。

引用此论文的数据集 0

暂无数据集与此论文关联

请在一个数据集README.md中引用 arxiv.org/abs/2606.06556 以便在此页面链接。

引用此论文的Space 0

暂无Space与此论文关联

请在一个Space README.md中引用 arxiv.org/abs/2606.06556 以便在此页面链接。

包含此论文的收藏集 0

暂无收藏集包含此论文

请将此论文添加到一个收藏集（https://huggingface.co/new-collection）以便在此页面链接。