论文页面 - AffordanceVLA: 一种通过功能感知理解赋能动作生成的视觉-语言-动作模型

来源: https://huggingface.co/papers/2606.06155 作者:

,

,

,

,

,

,

,

,

,

,

,

摘要

AffordanceVLA 引入了一个统一框架，利用结构化的功能预测作为中间表示，通过视觉-语言模型提升机器人操作中感知-动作映射的精度。

视觉-语言-动作（VLA）模型利用预训练视觉-语言模型（https://huggingface.co/papers?q=vision-language%20models）（VLM）丰富的世界知识，实现遵循指令的机器人操作。然而，VLM语义空间与具身控制策略（https://huggingface.co/papers?q=embodied%20control%20policies）之间的结构性不匹配，常常阻碍精确感知-动作映射的学习。为解决这一挑战，我们提出了 AffordanceVLA，一个统一框架，引入结构化功能预测（https://huggingface.co/papers?q=affordance%20forecasting）作为面向任务的中间表示，以建立更精确、鲁棒的感知-动作映射。具体来说，我们通过三个互补组件逐步建模操作先验：1) Which2Act：通过视觉潜变量预测（https://huggingface.co/papers?q=visual%20latent%20prediction）实现物体级接地，抑制干扰；2) Where2Act：通过功能图估计（https://huggingface.co/papers?q=affordance%20map%20estimation）实现2D交互定位；3) How2Act：通过3D几何推理（https://huggingface.co/papers?q=3D%20geometric%20reasoning）指导操作策略。这些功能线索提供了空间接地、语义条件化和动作耦合的中间表示，从而自然地将视觉、语言和动作连接起来。我们将这些模块集成到混合Transformer（https://huggingface.co/papers?q=Mixture-of-Transformer）（MoT）架构中，配备专门的专家网络，并通过三阶段训练策略和渐进式数据课程训练模型。为克服机器人数据集中密集功能标签的稀缺性，我们还开发了一个稳健的自动数据增强（https://huggingface.co/papers?q=automated%20data%20augmentation）流水线。在仿真和真实世界上的大量实验表明，AffordanceVLA 在多种操作场景中均取得了优异性能。

查看 arXiv 页面 (https://arxiv.org/abs/2606.06155) 查看 PDF (https://arxiv.org/pdf/2606.06155) 项目页面 (https://skywalker-yqz.github.io/AffordanceVLA/) GitHub1 (https://github.com/Skywalker-yqz/AffordanceVLA) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.06155)

在您的智能体中获取此论文：

hf papers read 2606\.06155

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.06155 即可从此页面链接。

引用此论文的数据集 0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.06155 即可从此页面链接。

引用此论文的 Spaces 0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.06155 即可从此页面链接。

包含此论文的收藏 0

无收藏包含此论文

将此论文添加到收藏 (https://huggingface.co/new-collection) 即可从此页面链接。