论文页面 - WorldLine：面向机器人操作的动作驱动视觉模拟

来源：https://huggingface.co/papers/2609.38059

摘要

现实世界的机器人学习受限于收集经验和评估候选行为的成本。视频生成模型为视觉模拟器提供了可扩展的基础，能够在物理执行前预测动作结果。然而，它们往往更注重视觉合理性，而非准确的动作跟随和连贯的机器人-物体动力学，而基于动作的模拟器则依赖于稀缺的、特定于具身形态的数据，这些数据难以在不兼容的控制空间之间共享。我们推出了WorldLine，一个动作驱动的视觉模拟器，它将可迁移的动力学学习与异构的动作基础解耦。WorldLine从超过10,000小时的无动作机器人视频中学习操作动力学，并利用来自十多种不同具身形态的超过2,000小时的动作轨迹进行基础训练。图像空间的动作表示提供了跨具身形态的共享控制接口，而结合多视角、失败案例丰富的训练以及关系正则化则提高了对交互敏感的预测能力。针对机器人的少步蒸馏技术，在保持动作关键运动的同时，实现了高效的因果序列推演。在留出域和域外设置中，WorldLine保持了强大的视觉质量和机器人运动一致性；在失败轨迹上，它将机器人掩码交并比提升了0.1626，超过了最强基线。它在RoboTwin和AgiBot上的轨迹成功率预测平均准确率为74%，比最强基线高出一个百分点。在没有使用RoboTwin训练数据或进行适应的情况下，其序列推演结果将任务成功率比直接策略执行提高了最多21.4个百分点。这些能力共同使WorldLine成为一个可扩展且高效的视觉模拟器，可用于策略评估和具身规划。更多结果请访问 https://zhengsh123.github.io/WorldLine/{projectpage}。

查看arXiv页面 (https://arxiv.org/abs/2609.38059) 查看PDF (https://arxiv.org/pdf/2609.38059) 项目页面 (https://zhengsh123.github.io/WorldLine/) GitHub1 (https://github.com/Zhengsh123/WorldLine) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.38059)

在您的代理中获取本文档：

hf papers read 2609.38059

没有最新版CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文档的模型 0

没有模型链接到本文档。 在模型README.md中引用arxiv.org/abs/2609.38059，可从本页面链接到该模型。

引用本文档的数据集 0

没有数据集链接到本文档。 在数据集README.md中引用arxiv.org/abs/2609.38059，可从本页面链接到该数据集。

引用本文档的Spaces 0

没有Space链接到本文档。 在Space README.md中引用arxiv.org/abs/2609.38059，可从本页面链接到该Space。

包含本文档的收藏夹 0

没有收藏夹包含本文档。 将本文档添加到收藏夹 (https://huggingface.co/new-collection) 可从本页面链接到该收藏夹。