标签
HINT-WAM 提出了首个面向世界动作模型的同策略自蒸馏框架,通过能量评分蒸馏目标,将未来的示范视频用作事后信息,在动作专家自身采样的轨迹上对其进行监督,从而无需环境奖励或与模拟器交互即可实现密集训练。
该论文提出了 WATO,一种在训练期间通过可微分、受动力学约束的轨迹优化,联合优化世界-动作联合模型所生成的动作及未来状态的方法,并将优化过程摊销到生成器中,以实现快速部署。该方法在 77 个视觉控制环境中将平均成功率从 79.9% 提升至 91.7%,同时在部署时的速度是 CEM 的 11.5 倍。
ResWAM 提出在冻结的 DINOv3 特征空间中进行视觉残差学习,采用通过条件流匹配训练的轻量级 0.5B 双分支 DiT,在 LIBERO-Plus、RoboTwin 2.0 和 RoboDojo 上取得了领先的成功率,同时显著降低了视觉-语言-动作策略的训练和推理计算开销。
WorldBridge 提出了一种世界动作模型,包含独立的视频专家和动作专家,二者通过结构化注意力机制连接,并采用联合流匹配进行训练。该模型结合广泛的视频覆盖与稀疏的动作监督,在机器人操作基准测试中实现了最先进的任务泛化性能。
VITAL 提出一种以视觉运动作为主要预测目标的动作 tokenizer,通过视觉衍生的运动骨架配合紧凑残差编码,仅用单步去噪在 NAVSIM v1 上达到 90.8 PDMS,并在无需重训的情况下在 NAVSIM v2 上取得 91.1 EPDMS。
BridgeWAM 通过潜在桥接查询(LBQs)解耦视频专家与动作专家,提升世界行动模型(WAM)的动作预测效率与泛化能力,在 LIBERO 基准上达到 98.25% 成功率,同时将推理 FLOPs 降低 28.72%。
SimVTA 是一个面向驾驶世界行动模型(WAM)的仿真落地后训练框架,通过 3D 高斯泼溅重建真实场景并渲染候选轨迹的视频监督,结合 GRPO 与流匹配损失优化规划能力,在 NAVSIM v1 上将 PDMS 从 86.2 提升至 91.3。
Long-WAM 提出了一种在实时控制约束下扩展因果世界-动作模型(world-action model)上下文的模型-系统框架,研究发现:更长的视觉历史仅在视频基础模型采用自回归方式预训练时才会带来显著效果——在 RoboCasa GR-1 上,其将成功率从 63.3% 提升至 78.7%;而在 Unitree G1 实机上,实现了 95% 的动态杯子堆叠成功率。
ProWAM 是一种渐进式世界动作模型,能够联合预测机器人动作以及有序的稀疏视觉子目标序列,从而在无需密集视频生成的情况下实现高效的长时程控制。该模型在 LIBERO-Plus 和 RoboTwin 上取得了当前最优的结果,并在真实世界中实现了 70% 的零样本成功率。
RealtimeWAM 提出了一种单步异步的世界行动模型,通过教师锚定一致性蒸馏(TACD)和跨专家波前流水线(CEWP),在 LIBERO、LIBERO-Plus 和 RoboTwin 上实现了近乎无损的性能(性能下降 <1%),并在 H100 上实现了最高 25 倍的端到端加速。
PointWAM 提出了一种三维世界动作模型,将世界分解为场景与手两部分,并将两者联合预测为三维点轨迹,从而实现灵巧的机器人操作。在人类演示视频上的预训练使 DexJoCo 成功率提升了 56.9 个百分点,超过此前最优方法 11.7 个百分点,并在真实机器人上优于强大的 VLA 模型。
本文发现潜在世界动作模型无法泛化,并提出了Simple-WAM,它通过将未来建模简化为单次前向传递来提高泛化性能,同时保持效率。
EVO-WAM 是一个框架,通过从生成的视频-动作轨迹中学习,将世界动作模型适应于未见过的机器人任务,显著提高了成功率,而无需额外的专家示范。
AnyStep-WAM 引入了一个框架,用于世界动作模型中的可调预算预测和自适应推理,在机器人操作任务中显著减少去噪步数的同时保持任务成功率。
Rolling-WAM 引入了一种方法,将去噪过程分布在用于机器人操作的世界动作模型的重规划周期中,在重规划中实现了4.5倍的速度提升,同时保持了竞争性能。
DeltaWAM 引入了基于 Delta 的世界行动模型用于双臂操作,通过预测视觉变化和行动来提升效率和性能。它展示了成功率的提升和计算开销的降低。
OpenWAM 提出了一个开放的、模块化的框架,用于世界-动作模型预训练,以系统化地识别设计原则,预训练模型在模拟和真实世界的机器人应用中表现出色。
将视频预训练扩展到12万小时,可将世界行动模型在真实机器人上的零样本成功率从36.1%提升至77.8%,实现更快的动作预测。
ZimaBlue 引入了一个可扩展框架,从大规模自我中心视频中学习可泛化的世界行动模型,通过三阶段课程和慢-快架构,显著提升了零样本机器人操作能力。
LAWA是一个世界动作模型,使用潜在动作来实现机器人控制的高效未来想象,在降低推理延迟的同时达到最先进的性能。它无需生成未来观测即可在泛化能力和效率上优于基线。