标签
AffordanceWAM 提出一种感知可供性(affordance)的生成式世界-动作模型,利用人类视频中的可供性表征联合预测未来场景与机器人动作,无需人类动作标注即可实现人类到机器人的迁移,并在 RoboCasa、CALVIN 等基准上取得一致提升。
HexaShell 是一个通过命令行控制双臂机器人的编码代理,利用 VLM 自主编写与修复工具,在 RoboDojo 基准上以 39.7% 成功率取得新的最先进结果,同时指出接触密集型任务仍是主要瓶颈。
PINT 提出了一种统一模型,通过可学习的预测意图令牌(Predictive Intent Tokens)协调视觉语言推理、视频世界建模与动作生成,在无需具身预训练的情况下显著提升了机器人操作的分布外泛化能力,在 RoboTwin 2.0-Hard 和 LIBERO-Plus 等基准上大幅超越 Fast-WAM 和 StarVLA。
本文分析了VLA策略应如何选择哪些骨干层来构成潜空间接口,发现层级融合的效果往往不如最佳单一层,并提出以InfoNCE作为计算高效的层选择代理,可在降低选择遗憾的同时将GPU成本削减9-33倍。
本文对生成式行为克隆中的多模态性进行了形式化定义,并通过理论分析以及在 LIBERO、Meta-World 和合成基准上的大量实验发现:常见的仿真基准在很大程度上是单模态的,而简单的确定性动作变换器与扩散、流匹配和 CVAE 等表达能力更强的生成式策略相比仍然具有竞争力。
MotorMind 提出了一套框架(harness),让通用视觉语言模型(VLM)能够直接对观测进行推理、发出中层动作并接收异步反馈,从而控制机器人。在 LIBERO-PRO 零样本任务上达到 66.7% 的成功率(此前方法最高仅 13.3%),在真实 xArm6 机器人上达到 95%,全程无需任务特定训练、编码智能体(coding agent)或接地工具(grounding tools)。
论文提出用于机器人操作的预测动作块学习 (PACL),该方法从混合质量部署经验中学习,使用预测评论家和扩散动作器以提升策略性能。
本文提出了World Action Agent(WAA),一个多智能体系统,利用视觉语言模型(VLMs)通过具有接触视图、动作预演和视图内校正的视觉动作工作空间进行机器人操作,在基准测试中取得了最先进的结果。
DeformSmith是一个框架,用于从文本或图像生成交互式、物理可信的可变形资产,通过物理引导的分层生成来提高质量和可信度。
本文提出CosmoH2G,一个用于将复杂人手演示迁移到机器人夹具的数据集和基线方法,通过两阶段框架预测稀疏关键帧和连续动作,以处理复杂的空间运动。
StreamPI 引入了一个流式多模态时序建模框架,用于视觉-语言-动作模型,通过指令锚定注意力和随机间隔训练来改进机器人操作,无需额外参数。
DyPES-VLA是一种跨具身VLA模型,通过未来预测学习共享动力学先验,并使用具身特定的混合专家(MoE)动作头在机器人原生动作空间中控制机器人,在LIBERO、RoboCasa和RoboTwin基准上取得了最先进的结果。
介绍了W2-VLA,一种用于精细机器人操作的视觉-语言-动作模型,该模型对任务条件下的未来手腕观测进行建模,在基准测试和真实世界任务中实现了改进的操作性能。
BridgeVLA++ 是一个用于三维机器人操作的记忆增强视觉-语言-动作框架,它在 BridgeVLA 的基础上增加了时空记忆,在记忆依赖的操作基准上取得了最先进的成果,同时保持了数据效率和泛化能力。
DreamTraj通过解码内部视频扩散潜变量,从单个RGB图像和语言指令预测6自由度物体轨迹,在推理时无需视频、深度或CAD模型。它引入了具有细粒度语言-运动标注的MOVE数据集,实现了最先进的性能,同时运行速度比先生成后提取的流水线快4.6倍。
πR^2 提出了一种面向机器人操作的反应式实时流策略,将条件输入分为快速通道和慢速通道,并采用延迟自适应流调度,使得闭环重规划速度比基线策略快约4倍,成功率最高提升30%。
Grabette 是一个开放、低成本的系统,通过手持夹爪和摄像头记录机器人操作数据,旨在构建用于机器人学习的共享数据集。
介绍B-spline Policy (BSP),它将动作参数化为连续的B样条曲线,而不是离散的固定速率动作块,从而在低成本机器人臂上实现更快更平滑的操作。
CLAP提出了一种方法,通过将自然语言动作描述前置到动作标记序列中,将预训练的视觉-语言模型(VLM)转换为视觉-语言-动作模型(VLA),无需改变架构即可保留语义能力。该方法在LIBERO上达到90.8%,并提升了鲁棒性。
本文介绍了提示驱动探索(PDE),一种利用视觉语言模型迭代优化强化学习策略的自然语言提示的方法,即使在零奖励起点也能实现全局探索和成功的策略学习。