论文页面 - DreamX-Phi 1.0：用于机器人操作的动作条件视频世界模型

Source: https://huggingface.co/papers/2608.13489

摘要

DreamX-Phi 1.0 是一个用于机器人操作的动作条件视频世界模型，它利用几何注意力编码、深度估计、带冻结教师模型的目标掩码以及蒸馏，来生成可靠的未来观察。

我们提出了 DreamX-Phi 1.0，一个用于机器人操作的动作条件视频世界模型 (https://huggingface.co/papers?q=action-conditioned%20video%20world%20model)。给定观察帧、语言指令以及由末端执行器位姿和夹爪状态组成的预设动作序列，该模型可预测相应的未来观察。然而，仅靠逼真度并不能保证忠实性：一个令人信服的展开序列仍可能移动错误的机械臂或丢失被操作的物体。为了确保预测符合每个机械臂的命令路径，我们通过 PRoPE 风格的几何编码 (https://huggingface.co/papers?q=PRoPE-style%20geometric%20encoding) 将每个机械臂的 SE(3) 变换 (https://huggingface.co/papers?q=SE(3)%20transformations) 注入注意力机制，从而保留机械臂身份和刚体运动结构。仅靠动作控制并不能完全约束场景几何或小型被操作物体的演变。因此，我们添加了一个轻量级深度分支 (https://huggingface.co/papers?q=depth%20branch) 用于场景级几何，并使用 SAM3 掩码 (https://huggingface.co/papers?q=SAM3%20masks) 配合冻结的 V-JEPA 教师模型 (https://huggingface.co/papers?q=V-JEPA%20teacher) 来在抓取过程中保持物体一致性。我们进一步通过分布匹配蒸馏 (https://huggingface.co/papers?q=distribution-matching%20distillation) 将多步生成器蒸馏为少步学生模型，以实现高效部署。截至撰写本文时，我们的方法在 WorldArena 2.0 挑战赛的 Track 1 和 Track 2 上分别取得第一名和第二名。我们的模型和代码将公开提供。

查看 arXiv 页面 (https://arxiv.org/abs/2608.13489) 查看 PDF (https://arxiv.org/pdf/2608.13489) GitHub23 (https://github.com/AMAP-ML/DreamX-Phi) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2608.13489)

在您的 agent 中获取此论文：

hf papers read 2608\.13489

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2608.13489，即可从本页链接到该模型。

引用此论文的数据集 0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2608.13489，即可从本页链接到该数据集。

引用此论文的 Space 0

没有 Space 链接到此论文

在 Space README.md 中引用 arxiv.org/abs/2608.13489，即可从本页链接到该 Space。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection)，即可从本页链接到该收藏集。