PAIR:弥合视觉-语言-动作模型中感知与动作的鸿沟
摘要
PAIR 引入显式的「Bridge Tokens」中间表示,将视觉-语言理解与可执行的机器人动作连接起来,通过与动作潜变量对齐并提前注入动作专家,在 LIBERO、CALVIN 及真实操作任务上一致提升性能。
查看缓存全文
缓存时间: 2026/10/16 15:04
论文页面 - PAIR:弥合视觉-语言-动作模型中的感知与行动鸿沟
来源:https://huggingface.co/papers/2610.09016
非常高兴与大家分享 PAIR:弥合视觉-语言-动作模型中的感知与行动鸿沟!🚀
连续动作 VLA 模型面临的一个关键挑战是如何弥合视觉-语言理解与可执行机器人动作之间的差距。PAIR 不再让这一过渡过程隐式进行,而是学习一种显式的中间表示,将任务语义与专家动作结构相结合。
我们的核心思路是通过与动作隐变量的对齐来学习 Bridge Tokens,并将其早期注入到 Action Expert 中,从而为动作生成提供一个动作感知的起始点。
PAIR 在 LIBERO、LIBERO-Plus、CALVIN 以及真实世界操作任务上均持续提升了性能。
我们希望 PAIR 能够启发大家对 VLA 模型中显式感知-行动表示的进一步探索。非常欢迎反馈与讨论!
📄 论文:https://arxiv.org/abs/2610.09016
相似文章
Vision-Language-Action 还是 World-Action?只需动作模型
论文提出 Just Action Model (JAM),将视觉-语言-动作模型与世界-动作模型解耦为骨干初始化、未来观测目标与推理机制三个可分离的选择,并用仅在训练期使用的 foresight loss 在 LIBERO、RoboTwin 等基准上超越 FastWAM/ImageWAM,同时减少 73% 的训练 FLOPs。
PDRVLA:具有物理动力学表征的视觉-语言-动作模型
PDRVLA 是一篇机器人操作研究论文,提出在视觉-语言-动作(VLA)模型中加入轻量级物理动力学模块,通过世界模型监督预测未来视觉特征,从而在不引入在线视频生成延迟的情况下提升机器人动作生成性能,并在 LIBERO、RoboTwin 2.0 等仿真基准上取得领先成功率。
BridgeWAM:通过潜在桥接查询连接视频专家与动作专家
BridgeWAM 通过潜在桥接查询(LBQs)解耦视频专家与动作专家,提升世界行动模型(WAM)的动作预测效率与泛化能力,在 LIBERO 基准上达到 98.25% 成功率,同时将推理 FLOPs 降低 28.72%。
VLA-Δ:为视觉-语言-动作模型学习物理状态转移
VLA-Δ 提出一个通用框架,通过显式监督当前与未来观测之间的物理状态转变来改进机器人控制,在 LIBERO、RoboTwin 及真实机器人实验上取得与最先进方法竞争的性能,且不增加推理开销。
BridgeVLA++:面向三维操作的数据高效、可泛化且记忆增强的视觉-语言-动作框架
BridgeVLA++ 是一个用于三维机器人操作的记忆增强视觉-语言-动作框架,它在 BridgeVLA 的基础上增加了时空记忆,在记忆依赖的操作基准上取得了最先进的成果,同时保持了数据效率和泛化能力。