统一因果训练下，世界建模与动作建模能否相互增益？
摘要
该论文提出 OneWM，探讨世界模型与动作建模在统一因果训练框架下如何相互增益，并展示了真实机器人操作（如积木堆叠、早餐准备）及模型自回归想象式推演的演示。
查看缓存全文
缓存时间: 2026/10/16 11:03
论文页面 - 世界模型与动作建模能在统一因果训练下相互促进吗？
来源：https://huggingface.co/papers/2610.21095
OneWM — 官方资源
- 项目页面与交互式演示（https://selen-suyue.github.io/OneWMNet/）
- GitHub：训练与部署代码（https://github.com/Interactive-Active-AI/OneWM）
- arXiv 论文（https://arxiv.org/abs/2610.21095）· PDF（https://arxiv.org/pdf/2610.21095）
https://huggingface.co/papers/2610.21095#real-world-robot-demonstrations真实机器人演示
原始速度的完整机器人录制视频，无音频。
积木堆叠——将三个彩色积木堆叠在一起。
放入储物柜——将一个蓝色积木放入储物单元。
准备早餐——将吐司和煎蛋装盘。
https://huggingface.co/papers/2610.21095#an-endless-dream无尽的梦境
从初始场景和腕部相机观测出发的想象式推演。OneWM 交替进行动作预测和未来帧生成，并使用自身的预测结果来继续推演。初始观测之后的画面均为模型生成；预测的动作并未在模拟器中执行。
将字母汤放入篮子
https://huggingface.co/papers/2610.21095#two-objects-into-the-basket将两个物体放入篮子
前 16 秒以原始速度播放，包含同步的场景视角和腕部视角以及预测动作：相对控制路径、平移、旋转和夹爪数值。该路径在每一轮中累积保存的平移指令，并非实际测量的机器人轨迹。
更多以动作为条件的世界预测和交互式可视化可在项目页面（https://selen-suyue.github.io/OneWMNet/）查看。
相似文章
UniWAM：统一世界-动作模型
UniWAM 提出了一种统一的架构，将物理推理器、世界生成器和动作预测器整合在一起，联合学习物理世界的语义理解、视觉生成与动作预测。该模型在多项评估中达到 SOTA，并揭示了统一人机协同训练的对数线性缩放规律。
# Long-WAM：扩展世界-动作模型的上下文长度
Long-WAM 提出了一种在实时控制约束下扩展因果世界-动作模型（world-action model）上下文的模型-系统框架，研究发现：更长的视觉历史仅在视频基础模型采用自回归方式预训练时才会带来显著效果——在 RoboCasa GR-1 上，其将成功率从 63.3% 提升至 78.7%；而在 Unitree G1 实机上，实现了 95% 的动态杯子堆叠成功率。
从任务配对的人类视频中学习可迁移的世界-动作模型
该论文提出WATCH，一种跨视频预训练方法，通过任务配对的人类演示学习可迁移的世界-动作模型，无需人-机器人配对数据；在机器人后训练后将MimicDroid的上下文内成功率从40.9%提升至68.3%（Cosmos Policy）以及从59.8%提升至77.7%（Cosmos 3）。
GreenWAM：面向机器人技术的世界基础模型
GreenWAM 提出一个机器人世界基础模型，通过共享的解剖学动作空间联合训练 20 个机器人家族，使其既能作为世界模型预测动作后果，又能作为策略控制不同形态的机器人，并在多个基准上取得领先表现。
世界行动模型：具身智能的下一个前沿
本综述论文介绍了世界行动模型（World Action Models，WAMs），这是一种将预测性状态建模与行动生成相结合的具身智能统一框架。该文提供了现有方法的分类体系，分析了数据生态系统，并概述了这一新兴范式的评估协议。