DreamTrue:具备反事实后训练的动作忠实机器人世界模型
摘要
DreamTrue 是一个多视角、跨具身的机器人世界模型,通过离线几何校准与反事实后训练提升动作跟随能力与物理合理性,在 AgiBot 数据集上将交互缺陷率从 48.12% 降至 6.25%,并获得 AgiBot World Challenge 2026 世界模型赛道第一名。
查看缓存全文
缓存时间: 2026/10/09 06:25
论文页面 - DreamTrue:基于反事实后训练的动作忠实机器人世界模型
来源:https://huggingface.co/papers/2610.12468
摘要
我们提出 DreamTrue,一个多视角、跨机体(cross-embodiment)的机器人世界模型,用于动作忠实且物理合理的视频预测。在现有机器人数据集上训练此类模型面临两大障碍:标定不精确会损害动作跟随能力,而对失败交互的覆盖不足则会使预测偏向成功结果。为提升跨机体的动作跟随效果,我们将动作轨迹渲染为空间图像条件,并引入离线几何标定以对齐这些条件与目标视频。为拓宽交互覆盖范围,我们引入反事实后训练(counterfactual post-training),修改已录制的动作轨迹,并在更广泛的动作与接触配置下生成未来视频。为在没有配对真实未来数据的情况下为这些预测提供反馈,我们构建了一个由人工标注的视频数据集,涵盖机器人、物体及交互层面的缺陷,并用其训练一个具身视频奖励模型。其评分用于引导强化学习后训练,以获得更符合物理规律的交互结果。在 AgiBot 上,DreamTrue 达到了最先进的动作跟随性能,同时将人工评估的交互缺陷率从 48.12% 降至 6.25%。值得注意的是,我们的模型在 AgiBot World Challenge 2026 的世界模型赛道中排名第一。项目主页见:https://brave-eai.github.io/DreamTrue。
查看 arXiv 页面 (https://arxiv.org/abs/2610.12468) 查看 PDF (https://arxiv.org/pdf/2610.12468) 项目主页 (https://brave-eai.github.io/DreamTrue/) GitHub 0 (https://github.com/brave-eai/DreamTrue) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.12468)
在你的 Agent 中获取这篇论文:
hf papers read 2610.12468
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 0
暂无模型关联到本文
在模型的 README.md 中引用 arxiv.org/abs/2610.12468,即可在此页面建立链接。
引用本文的数据集 0
暂无数据集关联到本文
在数据集的 README.md 中引用 arxiv.org/abs/2610.12468,即可在此页面建立链接。
引用本文的 Spaces 1
收录本文的合集 0
暂无合集收录本文
将本文加入一个合集 (https://huggingface.co/new-collection) 即可在此页面建立链接。
相似文章
从任务配对的人类视频中学习可迁移的世界-动作模型
该论文提出WATCH,一种跨视频预训练方法,通过任务配对的人类演示学习可迁移的世界-动作模型,无需人-机器人配对数据;在机器人后训练后将MimicDroid的上下文内成功率从40.9%提升至68.3%(Cosmos Policy)以及从59.8%提升至77.7%(Cosmos 3)。
RobotWorld:面向多种任务与具身形态的多模态智能体机器人使用基准
RobotWorld 提出了一个涵盖 84 项任务的机器人智能体仿真基准,横跨操作、移动操作、运动、驾驶与空中控制,用于评估多模态智能体将数字任务能力迁移到物理世界的表现,并揭示了模型间的能力差异与关键短板。
Dream.exe:视频生成模型能否梦想可执行的机器人操控?
Dream.exe 提出了一种评估框架,利用机器人操控任务来评估视频生成模型对物理现实的理解,结果发现视觉质量并不能预测可执行运动的准确性。
数据世界:从零扩展数据环境
该论文提出 Data World——一个多智能体引擎,从显式机制出发合成数据环境、任务与评分标准,用于训练数据智能体的分析洞察能力;基于其合成任务,通过 RL-zero 训练得到 DataWorld-35B-A3B 模型,该模型在 DataWorld-Bench、DAComp、DABstep-Hard 与 JobBench 等基准上显著超越了基座模型。
DreamX-Phi 1.0:面向机器人操作的动作条件视频世界模型
DreamX-Phi 1.0 是一个面向机器人操作的动作条件视频世界模型,利用几何注意力编码、深度估计和蒸馏来预测未来的观察结果,在 WorldArena 2.0 挑战赛中取得了顶尖成绩。