论文页面 - RynnWorld-Latent：基于通用潜在动作条件的跨具身世界模型

来源：https://huggingface.co/papers/2610.36791

作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

RynnWorld-Latent 通过基于 3D 定位的潜在动作学习跨具身世界动态，实现多样视频源上的联合预训练，并生成合成数据以提升机器人策略性能。

从异构交互视频中学习可控的世界动态极具挑战性，因为不同机器人具身使用不兼容的动作空间，而人类视频又缺乏原生的控制标签。我们提出 RynnWorld-Latent，一个跨具身视频世界模型（https://huggingface.co/papers?q=cross-embodiment%20video%20world%20model），它使用由 RynnLAM（https://huggingface.co/papers?q=RynnLAM）引入的基于 3D 定位的潜在动作（https://huggingface.co/papers?q=3D-grounded%20latent%20actions）作为共享条件接口。该表示使得在人类交互视频、机器人演示和仿真轨迹上进行联合预训练成为可能，无需统一的原生动作空间。RynnWorld-Latent 基于预训练的视频 Transformer（https://huggingface.co/papers?q=video%20transformer）构建，将全局动作 token（https://huggingface.co/papers?q=global%20action%20tokens）与身份初始化的局部通路（https://huggingface.co/papers?q=identity-initialized%20local%20pathway）相结合，后者将动作与未来视频隐变量（https://huggingface.co/papers?q=video%20latents）进行对齐。我们在包含约 5.535 亿帧的 23 个数据集上进行预训练，并通过后训练将模型适配到目标机器人。该框架支持两种数据生成路径：数字遥操作（https://huggingface.co/papers?q=digital%20teleoperation）使用目标机器人指令生成动作-视频演示，而潜在动作合成（https://huggingface.co/papers?q=latent-action%20synthesis）将源运动迁移到编辑后的初始帧，并将生成的轨迹与重定向的伪机器人动作配对。实验表明，该方法在公开基准和两个真实机器人平台上的视频预测指标均有提升，并在不同动作序列共享相同初始观测时展现出良好的动作跟随能力。合成数据的中期训练提升了 LIBERO（https://huggingface.co/papers?q=LIBERO）和 LIBERO-Plus（https://huggingface.co/papers?q=LIBERO）上的策略成功率，并且在所评估的场景中，两种生成路径均较仅使用真实演示的训练方式提升了真实世界策略成功率。这些结果支持将通用潜在动作（https://huggingface.co/papers?q=universal%20latent%20actions）作为跨异构具身学习可控视觉动态的可扩展接口。

查看 arXiv 页面　查看 PDF　项目页面　GitHub　添加到收藏

在你的 Agent 中获取此论文：

hf papers read 2610.36791

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.36791 即可将其关联到本页面。

引用此论文的数据集 0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.36791 即可将其关联到本页面。

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.36791 即可将其关联到本页面。

包含此论文的合集 0

暂无合集包含此论文

添加此论文到合集即可将其关联到本页面。