标签
强化学习(RL)可以通过一种名为数据接种(Data Inoculation)的技术,辅助机器人在示范过程中的数据采集,提高用于行为克隆和强化学习的数据质量,一篇关于堆叠方块的新论文展示了这一点。
TAD 提出了仅基于轨迹的对抗蒸馏方法,仅使用一组固定的教师轨迹,无需教师动作评分或任务奖励,通过判别器提供同策略奖励来改进视觉-语言-动作策略,大幅提升了 OpenVLA-OFT 的成功率,但效果仍逊于白盒同策略蒸馏。
RynnWorld-Latent 是一个跨具身视频世界模型,利用三维定位的潜在动作作为共享条件接口,实现了在人类视频、机器人示范和仿真轨迹上的联合预训练,从而生成合成数据以提升机器人策略在 LIBERO 和真实平台上的性能。
论文提出 Just Action Model (JAM),将视觉-语言-动作模型与世界-动作模型解耦为骨干初始化、未来观测目标与推理机制三个可分离的选择,并用仅在训练期使用的 foresight loss 在 LIBERO、RoboTwin 等基准上超越 FastWAM/ImageWAM,同时减少 73% 的训练 FLOPs。
Md Mirajul Islam 在北卡罗来纳州立大学的博士论文提出了针对离线学徒学习和模仿学习的框架,从教室、ICU 等以人为本场景中的混合质量人类示范中学习,这些场景中在线试错既不安全也不可行。
加州大学伯克利分校教授、Physical Intelligence 联合创始人谢尔盖·莱文将其春季深度强化学习课程(CS 185/285)全部 25 讲及客座讲座、总计约 36 小时的录像与作业代码免费公开在 YouTube 和 GitHub 上,内容涵盖模仿学习、策略梯度、离线强化学习、面向大语言模型的强化学习等主题,与 ALOHA、π0 等机器人学习方法及当下推理模型的训练直接相关。
本文提出了SCAMPER,一个具有独立运动先验和行为先验的变分系统,用于训练一个具身虚拟大鼠模型。该模型在目标导向行为和随机探索中均能产生自然的运动,从而能够从神经科学任务中典型的稀疏奖励中进行学习。
DONIC 是首个跨操作类别与人类动作来源联合训练的通用双手灵巧追踪器,结合 PPO 与行为克隆的反馈循环及每手奖励设计,并发布 BiHOI 多视角数据集,在未见物体上无需微调即大幅超越现有 SOTA。
该论文在多样化虚拟世界中系统研究了延续预训练(CPT)的扩展规律,横跨数据量、多样性和模型规模三个轴共120组训练配置,发现数据提升世界内表现、多样性改善相关世界迁移但对远距离世界收益有限,并拟合出经验扩展定律,指出仅靠模仿式延续预训练难以构建通用具身智能体,还需更丰富的训练阶段。
MorphAct 提出一种上下文参数化框架,通过两个耦合的低秩生成器动态调整机器人策略参数,缓解不同交互上下文中相互冲突的参数更新,在 LIBERO、Meta-World 及真实机器人实验中相比多个 VLA 骨干网络最高提升 16.30%。
提出Temporal Flow Policy (TFP),将物理时间作为机器人策略记忆的缺失维度,使记忆状态随实测时间间隔演化,从而在扩散策略与π₀.₅上实现更准确的时序控制与记忆读出,在LIBERO及真实机器人任务中优于循环与状态空间记忆基线。
WAVE-0 提出一个轻量级潜在世界模型,将 VLA 策略与世界动作模型(WAM)结合,使预测的动作后果直接引导动作生成,在 RoboTwin2.0 和 LIBERO 系列基准上取得 91.47%/98.7% 的成功率,并将 π0.5 的真实任务成功率从 38.3% 提升至 73.3%。
OGPO 框架通过语义关键状态重标注和目标条件过程奖励,将视觉-语言-动作模型的后训练从轨迹级模仿转向关键状态可达性学习,从而提升机器人操作策略在偏离演示轨迹时的恢复能力。实验在 LIBERO 和 MetaWorld 上超越标准监督微调,并在 LIBERO-Plus 及新提出的 LIBERO-ReAct 基准中展现出更强的分布偏移鲁棒性。
提出了 Keyframe Mnemonics,一种自监督关键帧发现方法,用于解决非马尔可夫环境下的行为克隆长时程依赖问题,在合成记忆域达到 100% 成功率,并在机器人操作基准上比最强基线平均绝对提升 13.9%。
该论文提出WATCH,一种跨视频预训练方法,通过任务配对的人类演示学习可迁移的世界-动作模型,无需人-机器人配对数据;在机器人后训练后将MimicDroid的上下文内成功率从40.9%提升至68.3%(Cosmos Policy)以及从59.8%提升至77.7%(Cosmos 3)。
一篇题为"通过视频学习原生动作先验用于世界动作模型"的新论文发布在 Hugging Face Papers 上,探讨了如何从视频中直接学习用于世界动作模型的动作先验。
DreamTrue 是一个多视角、跨具身的机器人世界模型,通过离线几何校准与反事实后训练提升动作跟随能力与物理合理性,在 AgiBot 数据集上将交互缺陷率从 48.12% 降至 6.25%,并获得 AgiBot World Challenge 2026 世界模型赛道第一名。
一篇新论文《Split the Differences, Pool the Rest: Provably Efficient Multi-Objective Imitation Learning》提出了MA-BC方法,该方法仅在观测到的专家动作不存在分歧时才汇集专家示范数据,并给出了在具有不同目标的专家处进行学习时样本复杂度的上界和下界。
Pantheon 介绍了它如何在八周内,通过 90 名操作员、定制的自研硬件以及基于 VLM 的自由文本标注,构建出一个高度多样化的 Universal Manipulation Interface(UMI)机器人数据集,累计产生超过 100 万个独特任务,采集成本低至每小时 10 美元,并开源了 100 小时的标注样例。
MimicX 提出了一种策略在环的监督精炼方法,用于视频驱动的人形机器人动作跟踪,使机器人能够执行从普通视频演示中捕捉到的人体动作(网球、颠球、舞蹈、功夫、跑酷),包括在存在碰撞的场景中。