PAIR:弥合视觉-语言-动作模型中感知与动作的鸿沟

Hugging Face Daily Papers 论文

摘要

PAIR 引入显式的「Bridge Tokens」中间表示,将视觉-语言理解与可执行的机器人动作连接起来,通过与动作潜变量对齐并提前注入动作专家,在 LIBERO、CALVIN 及真实操作任务上一致提升性能。

视觉-语言-动作(VLA)模型将视觉观测和语言指令映射为连续的机器人动作。这一任务需要从描述场景和指令的表示,过渡到支持动作生成的表示。许多连续动作 VLA 将这一过渡隐式地处理,主要通过最终的动作预测损失来进行监督。我们提出 PAIR,一个在这两个空间之间学习共享感知-动作表示的框架。在训练阶段,Masked Action Autoencoder 将专家动作块编码为时间步对齐的 Action Latent Tokens。Bridge Module 从当前的视觉-语言表示中提取任务相关特征。PAIR 将这些特征与 Action Latent Tokens 对齐,形成 Bridge Tokens,既保留任务信息,又捕捉专家动作的结构。随后,Bridge Tokens 被投影到动作 token 空间中,并注入初始 Action Tokens,为 Action Expert 的精炼提供一个即用的动作起点。在推理阶段,自编码器被移除,Bridge Tokens 仅由当前观测和指令生成。在 LIBERO、LIBERO-Plus 和 CALVIN ABC-D 上的实验表明,PAIR 为所评估的 OpenVLA-OFT 和 VLA-Adapter 模型带来了性能提升。在 LIBERO-Plus 上,PAIR 将 VLA-Adapter 的成功率从 59.1% 提升至 64.2%。在 CALVIN 上,它将 VLA-Adapter 的平均完成序列长度从 4.42 提升至 4.53。在七项真实世界任务中,PAIR 将 OpenVLA-OFT 的成功率从 51.4% 提升至 65.0%。表示分析表明,Bridge Tokens 在保留任务信息的同时,使连续动作信息在 Action Expert 精炼之前即可被访问。这些结果支持共享中间表示可以作为连续动作 VLA 中感知与动作之间有效接口的观点。
查看原文
查看缓存全文

缓存时间: 2026/10/16 15:04

论文页面 - PAIR:弥合视觉-语言-动作模型中的感知与行动鸿沟

来源:https://huggingface.co/papers/2610.09016

非常高兴与大家分享 PAIR:弥合视觉-语言-动作模型中的感知与行动鸿沟!🚀

连续动作 VLA 模型面临的一个关键挑战是如何弥合视觉-语言理解与可执行机器人动作之间的差距。PAIR 不再让这一过渡过程隐式进行,而是学习一种显式的中间表示,将任务语义与专家动作结构相结合。

我们的核心思路是通过与动作隐变量的对齐来学习 Bridge Tokens,并将其早期注入到 Action Expert 中,从而为动作生成提供一个动作感知的起始点。

PAIR 在 LIBERO、LIBERO-Plus、CALVIN 以及真实世界操作任务上均持续提升了性能。

我们希望 PAIR 能够启发大家对 VLA 模型中显式感知-行动表示的进一步探索。非常欢迎反馈与讨论!

📄 论文:https://arxiv.org/abs/2610.09016

相似文章

Vision-Language-Action 还是 World-Action?只需动作模型

Hugging Face Daily Papers

论文提出 Just Action Model (JAM),将视觉-语言-动作模型与世界-动作模型解耦为骨干初始化、未来观测目标与推理机制三个可分离的选择,并用仅在训练期使用的 foresight loss 在 LIBERO、RoboTwin 等基准上超越 FastWAM/ImageWAM,同时减少 73% 的训练 FLOPs。

PDRVLA:具有物理动力学表征的视觉-语言-动作模型

Hugging Face Daily Papers

PDRVLA 是一篇机器人操作研究论文,提出在视觉-语言-动作(VLA)模型中加入轻量级物理动力学模块,通过世界模型监督预测未来视觉特征,从而在不引入在线视频生成延迟的情况下提升机器人动作生成性能,并在 LIBERO、RoboTwin 2.0 等仿真基准上取得领先成功率。

VLA-Δ:为视觉-语言-动作模型学习物理状态转移

Hugging Face Daily Papers

VLA-Δ 提出一个通用框架,通过显式监督当前与未来观测之间的物理状态转变来改进机器人控制,在 LIBERO、RoboTwin 及真实机器人实验上取得与最先进方法竞争的性能,且不增加推理开销。