论文页面 - RynnVLA-Latent：利用基于 3D 的潜在动作扩展机器人操作基础模型

来源：https://huggingface.co/papers/2610.34356 作者：

,

,

,

,

,

,

,

,

,

,

,

,

摘要

RynnVLA-Latent 利用从多样化视频中提取的潜在动作来预训练大型视觉-语言-动作策略，无需针对特定机器人形态进行调优，即可在仿真和真实世界机器人基准测试中取得高成功率\。

视觉-语言-动作 (VLA) 模型的规模扩展受到动作标注示范数据稀缺以及不同机器人形态之间控制空间不兼容的限制\。我们提出了 RynnVLA-Latent，这是一个将异构交互视频转化为可扩展监督信号、用于机器人策略预训练的框架\。其核心 RynnLAM 从视觉状态转变中学习连续的、基于 3D 的 (https://huggingface.co/papers?q=3D-grounded)潜在动作 (https://huggingface.co/papers?q=latent%20actions)，无需使用机器人的原生控制信号\。通过结合残差未来特征预测 (https://huggingface.co/papers?q=residual%20future-feature%20prediction)、相机补偿的 3D 流监督 (https://huggingface.co/papers?q=camera-compensated%203D-flow%20supervision)以及相机运动解耦 (https://huggingface.co/papers?q=camera-motion%20decoupling)，RynnLAM 促使所学表征捕捉与控制相关的运动，而不只是外观变化\。我们将 RynnLAM 应用于 3.01 万小时的人类、机器人和仿真视频，生成了 7.4552 亿个潜在动作描述符\。随后，RynnVLA-Latent 通过流匹配 (https://huggingface.co/papers?q=flow%20matching)，学习根据视觉观测和语言预测潜在动作块 (https://huggingface.co/papers?q=latent-action%20chunks)，再将其预训练骨干网络和动作专家适配到特定机器人形态的动作空间\。最终得到的 40 亿参数策略在 LIBERO 上取得了 98.8% 的成功率，在未进行基准专属适配的情况下，在 LIBERO-Plus 上取得了 84.7% 的成功率，在 VLABench 的五个赛道上取得了 51.9% 的平均成功率，并在 RoboTwin 2.0 双臂基准测试中取得了 88.6% 的平均成功率\。在涵盖灵巧手和移动夹爪平台的六项真实世界操作任务中，该策略的成功率也高于所有参与比较的方法\。结合表征消融实验和数据规模扩展结果，这些发现展示了潜在动作监督的潜力：它能够突破原生动作标注数据的限制，扩展机器人策略学习的规模\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.34356)查看 PDF (https://arxiv.org/pdf/2610.34356)项目页面 (https://alibaba-damo-academy.github.io/RynnVLA-Latent.github.io/)GitHub9 (https://github.com/alibaba-damo-academy/RynnVLA-Latent)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.34356)

在你的智能体中获取这篇论文：

hf papers read 2610\.34356

还没有最新版本的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有关联这篇论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.34356，即可从此页面关联该模型\。

引用这篇论文的数据集0

没有关联这篇论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.34356，即可从此页面关联该数据集\。

引用这篇论文的 Space0

没有关联这篇论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.34356，即可从此页面关联该 Space\。

包含这篇论文的合集0

没有包含这篇论文的合集

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面关联该合集\。