论文页面 - WorldFlow：通过大规模预训练联合预测视频与三维运动

来源：https://huggingface.co/papers/2610.39278 作者：

,

,

,

,

,

,

,

,

,

,

摘要

WorldFlow 是一种生成式世界模型，使用连续位移标记和混合 Transformer 主干网络，联合预测未来视频与三维轨迹，从而提升在多种基准测试中的物理动力学预测能力\。

预测未来的物理状态是具身智能领域的核心挑战之一\。现有的视频世界模型以隐式方式表示三维动力学，基于动作的建模方式仍受限于特定的机器人配置，而三维运动预测模型仅使用流监督，为学习物理动力学提供的信号有限\。为克服这些局限，我们提出了，一种生成式世界模型 (https://huggingface.co/papers?q=generative%20world%20model)，可联合预测未来视频和基于查询的三维轨迹 (https://huggingface.co/papers?q=3D%20trajectories)\。通过将三维运动参数化为与视频网格对齐的连续位移标记 (https://huggingface.co/papers?q=continuous%20displacement%20tokens)，统一的混合 Transformer (https://huggingface.co/papers?q=Mixture-of-Transformers)(MoT) 主干网络在整流流 (https://huggingface.co/papers?q=rectified-flow)目标下，对两种模态进行联合去噪\。这种建模方式将显式几何动力学与视觉演变相结合，有效释放预训练视频模型中蕴含的物理常识\。为通过实证扩展并验证这一统一架构，我们使用涵盖仿真与真实世界领域的 144 万个物体级样本组成的异构混合数据进行训练\。我们还推出了 WorldFlowBench (https://huggingface.co/papers?q=WorldFlowBench)，其中包含来自 11 个数据源的 1,678 个评估样本，涵盖仿真与真实世界交互，包括空间推理任务\。在全部三个评估集上，WorldFlow 在所有受评估的基于学习的方法中，均取得了最低的平均位移误差 (https://huggingface.co/papers?q=average%20displacement%20error)(ADE) 和最终位移误差 (https://huggingface.co/papers?q=final%20displacement%20error)(FDE)\。值得一提的是，在具有挑战性的 SpatialCog 数据集上，WorldFlow 的 ADE 达到 0.060 米，相较于最强的外部基线降低了 54.2\%\。与其仅使用流的变体相比，ADE 和 FDE 分别降低了 55.9\% 和 68.5\%\。项目页面：https://worldflow-rbs.github.io/\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.39278)查看 PDF (https://arxiv.org/pdf/2610.39278)项目页面 (https://worldflow-rbs.github.io/)GitHub17 (https://github.com/worldflow-rbs/worldflow)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.39278)

在你的智能体中获取这篇论文：

hf papers read 2610\.39278

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有关联这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.39278，即可从此页面链接到该模型\。

引用这篇论文的数据集0

没有关联这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.39278，即可从此页面链接到该数据集\。

引用这篇论文的 Space0

没有关联这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.39278，即可从此页面链接到该 Space\。

包含这篇论文的合集0

没有包含这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接到该合集\。