论文页面 - ZimaBlue：通过可扩展的视频预训练进化出可泛化的世界动作模型

来源：https://huggingface.co/papers/2609.00188
发布于 8月 31日

#3 每日热门论文 (https://huggingface.co/papers/date/2026-09-02)
作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

ZimaBlue 通过三阶段课程学习和慢-快架构，从大规模以自我为中心的视频中学习可泛化的世界动作模型，显著提升了零样本机器人操作能力。

机器人操作面临一个基本的规模化挑战：鲁棒的泛化需要广泛的身体经验，但带有动作标签的机器人轨迹数据采集成本高昂且多样性有限。以自我为中心的视频提供了一种更具扩展性的具身体验来源，捕捉了跨多样环境中的物体交互、接触动力学、工具使用和长程行为。核心挑战是如何将这种丰富但无动作的经验转化为有效的机器人控制。我们提出了 ZimaBlue，一个从大规模视频中学习可泛化世界动作模型（WAMs）的可扩展框架。ZimaBlue 遵循三阶段训练课程：首先在大规模人类和机器人以自我为中心的视频上进行因果性具身体验预训练，然后通过视频-动作中期训练，利用统一的动作表示，将学习到的视觉动态与异构机器人轨迹进行关联，最后将模型专门化以部署到目标机器人。为了使生成式 WAMs 能够用于实时控制，ZimaBlue 进一步采用了异步慢-快双系统架构，其中高容量的慢世界模型提供可泛化的时空表征，而轻量级的快分支可在 NVIDIA RTX 4090 上实现 30 Hz 的动作预测。在真实机器人零样本评估中，仅从目标机器人数据扩展到超过 120,000 小时的具身体验视频，成功率从 36.1% 提升到 77.8%。ZimaBlue 在多个基准测试中均表现出色，尤其是在未见任务上取得了显著提升。

查看 arXiv 页面 (https://arxiv.org/abs/2609.00188)查看 PDF (https://arxiv.org/pdf/2609.00188)项目主页 (https://zimablue-wam.github.io/)GitHub3 (https://github.com/ZimaBlue-WAM/ZimaBlue)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.00188)

通过您的 Agent 获取此论文：

hf papers read 2609\.00188

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.00188 即可从本页面链接该模型。

引用此论文的数据集0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.00188 即可从本页面链接该数据集。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.00188 即可从本页面链接该 Space。

包含此论文的合集0

没有合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可从本页面链接该合集。