latent-actions

RynnWorld-Latent 是一个跨具身视频世界模型，利用三维定位的潜在动作作为共享条件接口，实现了在人类视频、机器人示范和仿真轨迹上的联合预训练，从而生成合成数据以提升机器人策略在 LIBERO 和真实平台上的性能。

RynnVLA-Latent 提出利用 3.01 万小时的异构视频学习以三维空间为基础的潜在动作，预训练具有 40 亿参数的视觉-语言-动作策略，在 LIBERO（成功率 98.8%）、RoboTwin 2.0 及真实机器人操作任务上取得领先的成功率，无需针对基准进行专门调优。

LAWA是一个世界动作模型，使用潜在动作来实现机器人控制的高效未来想象，在降低推理延迟的同时达到最先进的性能。它无需生成未来观测即可在泛化能力和效率上优于基线。

潜在行为在机器人领域越来越受关注，它使得从无动作标签的无标注视频中学习成为可能。DeepMind和FAIR的最新论文展示了从受控游戏环境到野外互联网视频的进展，有望实现模仿学习的可扩展训练。

PoLAR 在双曲空间中引入了一种具有几何结构的潜动作表示，将转换范围与模式分离，从而提升机器人策略学习性能。

本文介绍了用于图组合优化的投影智能体，采用强化学习和图神经网络，在连续动作嵌入空间中运行，以提升泛化能力和可扩展性，并发布了LaGCO-RL库。

本文介绍了 RLA-WM，一种基于视觉特征的世界模型，该模型利用残差潜在动作与流匹配技术高效预测未来视觉状态。该方法性能优于现有的视频扩散与特征基方法，同时支持从离线、无动作演示视频中探索新型机器人学习技术。