N_0-VTLA:利用潜在触觉标记扩展视觉-触觉-语言-动作模型

Hugging Face Daily Papers 论文

摘要

介绍了N_0-VTLA,一种面向高接触操作的视觉-触觉-语言-动作基础模型,具备大规模触觉预训练和基于优势的离线策略改进功能,在真实机器人和仿真基准测试中表现优异。

我们提出了N_0-VTLA,一种视觉-触觉-语言-动作(VTLA)基础模型,能够实现(1)具有触觉感知和触觉反馈控制的细粒度高接触操作,以及(2)从存储的部署数据中进行离线策略改进。在现有基于视觉的骨干网络基础上,我们提出了一种触觉集成的训练方案,包括视觉-触觉预训练、分阶段触觉通路集成以及基于优势的离线策略改进。在预训练期间,策略从我们的NeoData大规模视觉-触觉机器人数据集中学习广泛的接触先验;据我们所知,N_0-VTLA是首个在大规模触觉数据上预训练的VTLA模型。在后训练期间,我们为策略增加了一个预测性触觉通路,将大规模学习到的接触模式蒸馏为下游以触觉为中心的操作所需的精细运动调整。对于离线策略改进,我们引入了ALTER,一种基于优势的离线强化学习方法,将相对进展和轨迹事件比较转换为二元优势标签,用于在固定部署语料库上进行策略训练,进一步提高了对可变形物体操作等高接触技能的任务特定学习。在高接触基准测试中,N_0-VTLA以较大优势超越了强基线:它在全部九个真实机器人NeoReal任务中获胜,并在包含二十个任务的仿真套件中达到63.8%的平均成功率,而最强基线仅为44.0%。使用ALTER训练的N_0-VTLA策略在三个长时程真实机器人任务上达到75-95%的成功率。这些结果为多功能触觉驱动操作策略奠定了基础。
查看原文
查看缓存全文

缓存时间: 2026/08/03 05:30

论文页面 - N_0-VTLA:利用潜在触觉令牌扩展视觉-触觉-语言-动作模型

摘要

我们提出了 N_0-VTLA,一个视觉-触觉-语言-动作(VTLA)基础模型,能够(1)通过触觉感知和触觉反馈控制实现细粒度的接触丰富操作,以及(2)从存储的部署数据中进行离线策略改进。基于当前的视觉主干,我们提出了一种触觉集成训练方案,包括视觉-触觉预训练、分阶段触觉通路集成以及优势条件离线策略改进。在预训练阶段,策略从我们的规模视觉-触觉机器人数据集 NeoData 中学习广泛的接触先验;据我们所知,N_0-VTLA 是第一个在规模触觉数据上预训练的 VTLA 模型。在后训练阶段,我们为策略增加了一个预测性触觉通路,将规模学习到的接触模式提炼为下游触觉中心操作所需的精细运动调整。对于离线策略改进,我们引入了 ALTER,一种优势条件离线强化学习方法,它将相对进度和轨迹事件比较转换为用于固定部署语料库上策略训练的二元优势标签,进一步改善了接触丰富技能(如可变形物体操作)上的任务特定学习。在接触丰富基准测试中,N_0-VTLA 以大幅优势超越强基线:它赢得了全部九项真实机器人 NeoReal 任务,并在二十任务模拟套件中达到 63.8% 的平均成功率,而最强基线为 44.0%。使用 ALTER 训练的 N_0-VTLA 策略在三个长时程真实机器人任务上达到了 75-95% 的成功率。这些结果为多功能触觉驱动操作策略奠定了基础。

查看 arXiv 页面 (https://arxiv.org/abs/2607.23782) 查看 PDF (https://arxiv.org/pdf/2607.23782) 项目页面 (https://research.neoteai.com/n0-vtla/) GitHub31 (https://github.com/neoteai/N0-VTLA) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.23782)

在您的代理中获取此论文:

hf papers read 2607\.23782

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.23782 以从此页面链接到它。

引用此论文的数据集0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.23782 以从此页面链接到它。

引用此论文的 Space0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2607.23782 以从此页面链接到它。

包含此论文的收藏0

没有收藏包含此论文

将这篇论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接到它。

相似文章

视觉思考-视觉-语言-行动策略:视觉中间推理实现高效低延迟

Hugging Face Daily Papers

视觉思考-视觉-语言-行动策略(VisualThink-VLA)引入了一种用于视觉-语言-行动策略的视觉中间推理框架,该框架保留了空间精度,并相比基于文本的推理显著降低了延迟,在机器人操作基准测试中实现了亚秒级推理和领先的成功率。