标签
论文提出 Just Action Model (JAM),将视觉-语言-动作模型与世界-动作模型解耦为骨干初始化、未来观测目标与推理机制三个可分离的选择,并用仅在训练期使用的 foresight loss 在 LIBERO、RoboTwin 等基准上超越 FastWAM/ImageWAM,同时减少 73% 的训练 FLOPs。
论文提出了 Video-Point Model (VPM),这是一个世界模型,能够基于视频历史和语言指令,联合预测多视角视频与 3D 点轨迹,从而提升四维预测的保真度,并通过共享的 3D 感知表征提高机器人操作的成功率。
GPT-6 Astra 通过使用 Unitree G1 机器人在陌生环境中控制操作、记住物品位置、执行清理任务以及根据模糊的人类请求检索物品,展示了其高级能力。
论文提出了 NowWAM,这是一种无未来目标的协同训练框架:对当前观测进行去噪,并从同一视觉流中预测机器人动作。实验表明,在将预训练生成式 DiT 适配到机器人控制时,并不需要单独的未来视觉目标;基于 FLUX2-Klein 在 LIBERO-Plus 上达到 87.7% 的成功率,同时实现 1.8 倍的加速。
LayerRoute 为视觉-语言-动作策略引入了一种动作条件路由接口,该接口动态调整对 VLM 层表示的访问,以最小的额外参数提升机器人操作性能。
Show-Harness是一种方法,它使视觉语言模型能够通过离散的语义动作来控制机器人,实现零样本部署和跨不同机器人与GUI的高效微调。
MobileVLA-R1 2.0是一个强化学习增强的视觉-语言-动作框架,将结构化推理与移动机器人控制相结合,在真实平台上的长期指令跟随方面取得了改进。
本文介绍了安全对比强化学习(Safe-CRL),以解决失败终止条件下目标条件策略学习中的高估偏差问题,利用一位失败信号来提升机器人导航和运动任务的安全性和性能。
Perceptron Inc.发布了Isaac 0.5,这是一个开源的36B参数机器人基础模型,通过无动作视频扩展将遥操作需求降低了210倍,实现了高效的机器人控制微调。
LAWA是一个世界动作模型,使用潜在动作来实现机器人控制的高效未来想象,在降低推理延迟的同时达到最先进的性能。它无需生成未来观测即可在泛化能力和效率上优于基线。
Hydra-0引入动作流作为通用世界建模和机器人控制的共享视觉接口,实现了显著的误差减少,并支持跨多种具身的零样本组合。
法国研究人员使用死后捐赠者的脑皮层组织连接机器人,证明离体人脑组织仍能形成新记忆、学习新动作,甚至学会弹奏新曲子,可能改变对脑死亡和存活能力的认识。
GigaWorld-Policy-0.5 是一个用于机器人控制的增强版世界动作模型(WAM),通过混合动作条件世界建模(AC-WM)策略和混合变换器(Mixture-of-Transformers)架构提升训练与推理效率,在本地 RTX 4090 上实现 85 毫秒延迟。
LingBot-VA 2.0 是一个从头开始为机器人控制训练的视频动作基础模型,实现了 225 Hz 的闭环执行,具有 13B 参数(每个 token 激活 1.9B),并在 RoboTwin 2.0 上优于之前的模型。
一个使用LingBot-VA 2.0视频动作模型的机器人,以1倍速实时从移动传送带上抓取物体,它预测未来运动而不仅仅是反应当前帧。
本文讨论了机器人控制从反应式向基于预测的转变,重点介绍了LingBot-VA 2.0模型,该模型能够跟上快速移动的物体(如空气曲棍球),并且仅需少量演示即可学习。
LingBot-Video提出了一个基于DiT的视频预训练框架,采用Mixture-of-Experts架构、专用数据增强和多维奖励系统,用于具身智能应用。
本文识别出由以人为中心的管道导致的人形机器人共语动作生成中的具身差距,并提出PhysDrift,一种具身感知框架,直接从语音预测可执行的人形机器人关节轨迹,改善了语音-动作对齐和物理合理性。
ImageWAM 提出在世界动作模型中用预训练图像编辑模型替代视频生成用于机器人控制,在将计算量降至视频方法的 1/6、延迟降至 1/4 的同时实现了更优性能。
LaWAM通过预测紧凑的潜在视觉子目标而非昂贵的视频生成,实现了高效的机器人控制,相比像素空间世界动作模型,成功率可达最先进水平,同时延迟降低高达24倍。