# Long-WAM：扩展世界-动作模型的上下文长度

Hugging Face Daily Papers 论文
robotics world-action-models video-foundation-models real-time-control long-context autoregressive-pretraining

摘要

Long-WAM 提出了一种在实时控制约束下扩展因果世界-动作模型（world-action model）上下文的模型-系统框架，研究发现：更长的视觉历史仅在视频基础模型采用自回归方式预训练时才会带来显著效果——在 RoboCasa GR-1 上，其将成功率从 63.3% 提升至 78.7%；而在 Unitree G1 实机上，实现了 95% 的动态杯子堆叠成功率。

实时机器人控制需要足够的视觉历史信息来推断运动与任务进展，但处理这些历史信息可能导致动作延迟。我们提出 Long-WAM——一个在实时控制约束下扩展因果世界-动作模型上下文长度的模型-系统协同框架。我们的核心发现是：能够访问历史信息并不等同于真正利用历史信息——当视频基础模型采用自回归（AR）方式预训练时，更长的历史信息才能带来显著收益。我们首先在机器人视频和第一人称视频上学习无动作标注的因果预测，随后在世界-动作适配阶段保持这种从历史到未来的结构。在 RoboCasa GR-1 上，将上下文从 0.0 秒增加到 19.2 秒，成功率从 63.3% 提升至 78.7%，而采用双向预训练的初始化则没有带来净收益；机器人领域的 AR 预训练进一步提升了 GR-1 和 LIBERO-Long 上的峰值成功率。在 LIBERO-Long、RoboTwin 2.0 和 DOMINO 上，Long-WAM 均取得了优于对比方法的结果。流式观测编码、异步执行和硬件特定加速使系统能够在 RTX 5090、DGX Spark 和 Jetson AGX Thor 上部署，且不牺牲未来预测能力；在 RTX 5090 上，每个动作块（包含未来视频潜变量预测）仅需 107.4 毫秒。在 Unitree G1 和 YAM 上的实时部署支持动态及长时程操作任务，其中动态叠杯任务成功率达 95%，而 Pi0.5 和 Fast-WAM 在 20 次试验中均未成功。作为记忆引导的执行器，Long-WAM 还能与高层规划协同完成复合任务。
查看原文
查看缓存全文

缓存时间: 2026/10/08 12:24

论文页面 - Long-WAM: Scaling the Context of World-Action Models

来源：https://huggingface.co/papers/2610.10528 发布于 10 月 7 日

#2 当日论文 (https://huggingface.co/papers/date/2026-10-08) 作者：

摘要

实时机器人控制需要足够的视觉历史信息来推断运动和任务进展，但处理这些历史信息可能会延迟动作的执行。我们提出 Long-WAM，这是一个在实时控制约束下扩展因果 world-action 模型上下文长度的模型-系统框架。我们的核心发现是：能够访问历史信息并不等同于有效利用历史信息：当视频基础模型采用自回归（AR）方式预训练时，更长的历史信息才能带来远为显著的收益。我们首先在不使用动作标签的情况下，从机器人视频和第一人称视角视频中学习因果预测，然后在 world-action 适配过程中保留这种“历史-未来“的结构。在 RoboCasa GR-1 上，将上下文从 0.0 秒增加到 19.2 秒可将成功率从 63.3% 提升至 78.7%，而采用双向预训练初始化的模型则完全没有提升；机器人领域的 AR 预训练进一步提高了 GR-1 和 LIBERO-Long 上的最高成功率。在 LIBERO-Long、RoboTwin 2.0 和 DOMINO 上，Long-WAM 在所有对比方法中取得了最佳结果。流式观测编码、异步执行和针对特定硬件的加速，使其能够在 RTX 5090、DGX Spark 和 Jetson AGX Thor 上部署，且无需舍弃未来预测功能；在 RTX 5090 上，每个动作块（包括未来视频隐变量的预测）耗时 107.4 毫秒。在 Unitree G1 和 YAM 上的实时部署支持了动态和长时程操作任务，包括在动态杯子堆叠任务中达到 95% 的成功率，而 Pi0.5 和 Fast-WAM 在 20 次试验中均无一成功。作为一个具备记忆感知能力的执行器，Long-WAM 还能与组合任务中的高层规划相互补充。

查看 arXiv 页面 (https://arxiv.org/abs/2610.10528) 查看 PDF (https://arxiv.org/pdf/2610.10528) 项目页面 (https://nvlabs.github.io/LongLive/Long-WAM/) GitHub2.66k (https://github.com/NVlabs/LongLive) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.10528)

在你的智能体中获取该论文：

hf papers read 2610.10528

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联到本文

在模型 README.md 中引用 arxiv.org/abs/2610.10528 即可将其链接到本页面。

引用本文的数据集 0

暂无数据集关联到本文

在数据集 README.md 中引用 arxiv.org/abs/2610.10528 即可将其链接到本页面。

引用本文的 Spaces 1

收录本文的集合 1

相似文章

基于渐进式视觉规划的世界动作建模

arXiv cs.AI

ProWAM 是一种渐进式世界动作模型，能够联合预测机器人动作以及有序的稀疏视觉子目标序列，从而在无需密集视频生成的情况下实现高效的长时程控制。该模型在 LIBERO-Plus 和 RoboTwin 上取得了当前最优的结果，并在真实世界中实现了 70% 的零样本成功率。

UniWAM：统一世界-动作模型

Hugging Face Daily Papers

UniWAM 提出了一种统一的架构，将物理推理器、世界生成器和动作预测器整合在一起，联合学习物理世界的语义理解、视觉生成与动作预测。该模型在多项评估中达到 SOTA，并揭示了统一人机协同训练的对数线性缩放规律。