论文页面 - μ_0：一种可扩展的3D交互轨迹世界模型

来源：https://huggingface.co/papers/2606.13769

摘要

一种名为 μ₀ 的可扩展世界模型，利用 3D 轨迹预测关键交互点的平滑运动轨迹，实现了无需动作标签的、与具身形态无关的机器人学习。

能够捕捉动作如何引发物理变化的世界模型（https://huggingface.co/papers?q=World%20models）使得可扩展的机器人学习成为可能，无需依赖特定具身形态的动作标签。像素空间视频模型提供了广泛的视觉先验，但将模型能力消耗在密集的外观重建上；而直接动作模型则需要特定具身形态的标签，阻碍了可扩展性。我们提出了 μ₀，一种基于 3D 轨迹（https://huggingface.co/papers?q=3D%20traces）的可扩展世界模型。不同于预测密集像素或直接建模动作，μ₀ 预测物体、工具、手和接触区域等显著交互点的平滑 3D 轨迹，从而形成一个紧凑且与具身形态无关的运动接口。为了能够从多样化的视频源进行训练，我们的 TraceExtract（https://huggingface.co/papers?q=TraceExtract）系统通过选择关键点、构建全局对齐的轨迹，并将运动片段与分层语言描述相关联，自动提取 3D 监督信号。这种 TraceExtract（https://huggingface.co/papers?q=TraceExtract）监督信号通过将预训练的视觉-语言骨干网络（https://huggingface.co/papers?q=vision-language%20backbone）与模块化轨迹专家（https://huggingface.co/papers?q=modular%20trace%20expert）相结合来预训练 μ₀，其中每个查询通过 B 样条控制点（https://huggingface.co/papers?q=B-spline%20control%20points）表示，并预测未来轨迹。实验表明，μ₀ 在 2D 和 3D 轨迹预测方面均优于基线方法，包括轨迹预测模型和分词化的 VLM 方法。由于 μ₀ 是冻结且可重用的，它可以与动作专家配对，用于下游机器人的具身形态。尽管采用了无动作预训练（https://huggingface.co/papers?q=action-free%20pretraining），最终得到的轨迹条件策略（https://huggingface.co/papers?q=trace-conditioned%20policies）在性能上可与使用动作监督预训练的 VLA 模型（https://huggingface.co/papers?q=VLA%20models）（例如 π₀）相媲美。这些结果确立了 3D 轨迹（https://huggingface.co/papers?q=3D%20traces）作为一种可扩展且可迁移的跨具身操控表示。

查看 arXiv 页面（https://arxiv.org/abs/2606.13769）查看 PDF（https://arxiv.org/pdf/2606.13769）项目页面（https://mu0-wm.github.io/）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.13769）

在您的智能体中获取此论文：

hf papers read 2606.13769

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.13769 以从此页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.13769 以从此页面链接。

引用此论文的 Spaces0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.13769 以从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将论文添加到收藏集（https://huggingface.co/new-collection）以从此页面链接。