论文页面 - 从任务配对的人类视频中学习可迁移的世界-动作模型

来源：https://huggingface.co/papers/2610.14351

摘要

世界-动作模型（world-action models）从视频预训练中继承了广泛的视觉与物理先验知识。然而，标准的视频内下一帧预测使模型依赖于上下文与未来帧之间的外观相似性，而非学习能够跨场景、跨本体迁移的交互能力。我们提出 WATCH，一种跨视频预训练方法，通过学习在多样化环境中采集的任务配对人类演示来进行训练。在给定一段演示的视频及其动作的条件下，模型联合预测另一段演示的动作以及从其当前观测出发的未来帧。从一段演示预测另一段演示，促使模型学习与任务相关的交互，从而实现跨场景、跨演示者的迁移。我们的预训练表明，这些能力仅凭易于扩展的人类-人类配对数据即可学到，无需配对的人类-机器人演示。机器人后训练之前的分析显示，跨本体的运动对齐能力得到提升，在未见过的机器人上动作与视频预测表现更好，且学到的表示更接近于从机器人配对数据中学习到的表示。经过机器人后训练后，WATCH 将 MimicDroid 的上下文内成功率从 40.9% 提升至 68.3%（使用 CosmosPolicy），从 59.8% 提升至 77.7%（使用 Cosmos3），其中在未见过的关卡上增益最为显著。在跨机器人本体的无上下文后训练下，这些增益依然保持。WATCH 优于视频内预训练及协同训练基线，支持跨视频预测作为一种可扩展的学习可迁移世界-动作表示的方法。

查看 arXiv 页面 (https://arxiv.org/abs/2610.14351) · 查看 PDF (https://arxiv.org/pdf/2610.14351) · 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.14351)

在你的 agent 中获取此论文：

hf papers read 2610.14351

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型的 README.md 中引用 arxiv.org/abs/2610.14351，即可在此页面上建立链接。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.14351，即可在此页面上建立链接。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.14351，即可在此页面上建立链接。

包含此论文的合集 0

暂无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection)，即可在此页面上建立链接。