DreamTrue:具备反事实后训练的动作忠实机器人世界模型

Hugging Face Daily Papers 论文

摘要

DreamTrue 是一个多视角、跨具身的机器人世界模型,通过离线几何校准与反事实后训练提升动作跟随能力与物理合理性,在 AgiBot 数据集上将交互缺陷率从 48.12% 降至 6.25%,并获得 AgiBot World Challenge 2026 世界模型赛道第一名。

我们提出 DreamTrue,这是一个多视角、跨具身的机器人世界模型,能够实现动作忠实且物理合理的视频预测。在现有机器人数据集上训练此类模型面临两大障碍:不精确的标定会损害动作跟随效果,而对失败交互场景的覆盖不足则会使预测偏向成功结果。为了在不同具身之间提升动作跟随能力,我们将动作轨迹渲染为空间图像条件,并引入离线几何校准,使这些条件与目标视频对齐。为了拓展交互覆盖范围,我们引入了反事实后训练,通过修改录制的动作轨迹,在更广泛的动作和接触配置下生成未来视频。为了在缺乏配对真实未来帧的情况下对这些预测提供反馈,我们构建了一个涵盖机器人、物体及交互缺陷的人工标注视频数据集,并用其训练了一个具身视频奖励模型。该模型的评分引导强化学习后训练,以获得更符合物理规律的交互结果。在 AgiBot 上,DreamTrue 达到了最先进的动作跟随性能,同时将人工评估的交互缺陷率从 48.12% 降低到 6.25%。值得注意的是,我们的模型在 AgiBot World Challenge 2026 世界模型赛道中排名第一。项目主页:https://brave-eai.github.io/DreamTrue。
查看原文
查看缓存全文

缓存时间: 2026/10/09 06:25

论文页面 - DreamTrue:基于反事实后训练的动作忠实机器人世界模型

来源:https://huggingface.co/papers/2610.12468

摘要

我们提出 DreamTrue,一个多视角、跨机体(cross-embodiment)的机器人世界模型,用于动作忠实且物理合理的视频预测。在现有机器人数据集上训练此类模型面临两大障碍:标定不精确会损害动作跟随能力,而对失败交互的覆盖不足则会使预测偏向成功结果。为提升跨机体的动作跟随效果,我们将动作轨迹渲染为空间图像条件,并引入离线几何标定以对齐这些条件与目标视频。为拓宽交互覆盖范围,我们引入反事实后训练(counterfactual post-training),修改已录制的动作轨迹,并在更广泛的动作与接触配置下生成未来视频。为在没有配对真实未来数据的情况下为这些预测提供反馈,我们构建了一个由人工标注的视频数据集,涵盖机器人、物体及交互层面的缺陷,并用其训练一个具身视频奖励模型。其评分用于引导强化学习后训练,以获得更符合物理规律的交互结果。在 AgiBot 上,DreamTrue 达到了最先进的动作跟随性能,同时将人工评估的交互缺陷率从 48.12% 降至 6.25%。值得注意的是,我们的模型在 AgiBot World Challenge 2026 的世界模型赛道中排名第一。项目主页见:https://brave-eai.github.io/DreamTrue。

查看 arXiv 页面 (https://arxiv.org/abs/2610.12468) 查看 PDF (https://arxiv.org/pdf/2610.12468) 项目主页 (https://brave-eai.github.io/DreamTrue/) GitHub 0 (https://github.com/brave-eai/DreamTrue) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.12468)

在你的 Agent 中获取这篇论文:

hf papers read 2610.12468

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联到本文

在模型的 README.md 中引用 arxiv.org/abs/2610.12468,即可在此页面建立链接。

引用本文的数据集 0

暂无数据集关联到本文

在数据集的 README.md 中引用 arxiv.org/abs/2610.12468,即可在此页面建立链接。

引用本文的 Spaces 1

收录本文的合集 0

暂无合集收录本文

将本文加入一个合集 (https://huggingface.co/new-collection) 即可在此页面建立链接。

相似文章

从任务配对的人类视频中学习可迁移的世界-动作模型

Hugging Face Daily Papers

该论文提出WATCH,一种跨视频预训练方法,通过任务配对的人类演示学习可迁移的世界-动作模型,无需人-机器人配对数据;在机器人后训练后将MimicDroid的上下文内成功率从40.9%提升至68.3%(Cosmos Policy)以及从59.8%提升至77.7%(Cosmos 3)。

数据世界:从零扩展数据环境

Hugging Face Daily Papers

该论文提出 Data World——一个多智能体引擎,从显式机制出发合成数据环境、任务与评分标准,用于训练数据智能体的分析洞察能力;基于其合成任务,通过 RL-zero 训练得到 DataWorld-35B-A3B 模型,该模型在 DataWorld-Bench、DAComp、DABstep-Hard 与 JobBench 等基准上显著超越了基座模型。