N_0-VTLA:利用潜在触觉标记扩展视觉-触觉-语言-动作模型
摘要
介绍了N_0-VTLA,一种面向高接触操作的视觉-触觉-语言-动作基础模型,具备大规模触觉预训练和基于优势的离线策略改进功能,在真实机器人和仿真基准测试中表现优异。
查看缓存全文
缓存时间: 2026/08/03 05:30
论文页面 - N_0-VTLA:利用潜在触觉令牌扩展视觉-触觉-语言-动作模型
摘要
我们提出了 N_0-VTLA,一个视觉-触觉-语言-动作(VTLA)基础模型,能够(1)通过触觉感知和触觉反馈控制实现细粒度的接触丰富操作,以及(2)从存储的部署数据中进行离线策略改进。基于当前的视觉主干,我们提出了一种触觉集成训练方案,包括视觉-触觉预训练、分阶段触觉通路集成以及优势条件离线策略改进。在预训练阶段,策略从我们的规模视觉-触觉机器人数据集 NeoData 中学习广泛的接触先验;据我们所知,N_0-VTLA 是第一个在规模触觉数据上预训练的 VTLA 模型。在后训练阶段,我们为策略增加了一个预测性触觉通路,将规模学习到的接触模式提炼为下游触觉中心操作所需的精细运动调整。对于离线策略改进,我们引入了 ALTER,一种优势条件离线强化学习方法,它将相对进度和轨迹事件比较转换为用于固定部署语料库上策略训练的二元优势标签,进一步改善了接触丰富技能(如可变形物体操作)上的任务特定学习。在接触丰富基准测试中,N_0-VTLA 以大幅优势超越强基线:它赢得了全部九项真实机器人 NeoReal 任务,并在二十任务模拟套件中达到 63.8% 的平均成功率,而最强基线为 44.0%。使用 ALTER 训练的 N_0-VTLA 策略在三个长时程真实机器人任务上达到了 75-95% 的成功率。这些结果为多功能触觉驱动操作策略奠定了基础。
查看 arXiv 页面 (https://arxiv.org/abs/2607.23782) 查看 PDF (https://arxiv.org/pdf/2607.23782) 项目页面 (https://research.neoteai.com/n0-vtla/) GitHub31 (https://github.com/neoteai/N0-VTLA) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.23782)
在您的代理中获取此论文:
hf papers read 2607\.23782
没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型链接此论文
在模型 README.md 中引用 arxiv.org/abs/2607.23782 以从此页面链接到它。
引用此论文的数据集0
没有数据集链接此论文
在数据集 README.md 中引用 arxiv.org/abs/2607.23782 以从此页面链接到它。
引用此论文的 Space0
没有 Space 链接此论文
在 Space README.md 中引用 arxiv.org/abs/2607.23782 以从此页面链接到它。
包含此论文的收藏0
没有收藏包含此论文
将这篇论文添加到收藏 (https://huggingface.co/new-collection) 以从此页面链接到它。
相似文章
N_0-TWAM:面向接触丰富操作的触觉原生世界-动作模型规模化
N₀-TWAM 是一个面向接触丰富操作的触觉原生世界-动作模型,基于来自 6 个具身和 450 个任务的视触觉数据进行了规模化训练。作者公开了代码和预训练检查点,将其定位为首个规模化训练的触觉世界-动作模型。
τ_0-VLA:基于世界模型引导的测试时计算的分层机器人基础模型
分层视觉-语言-动作模型通过世界模型引导的测试时搜索扩展计算,用于高级子任务决策,从而提升长期机器人操作的性能。
AffordanceVLA: 一种通过可供性感知理解赋能动作生成的视觉-语言-动作模型
AffordanceVLA引入了一个统一框架,利用结构化可供性预测作为中间表示,结合视觉-语言模型和混合Transformer架构,以改进机器人操作中的感知-动作映射。
面向机器人操作的视觉-语言-动作模型中的双潜在记忆
LaMem-VLA提出了一种原生于潜在记忆的框架,将短期和长期历史经验直接整合到视觉-语言-动作推理中,从而在长周期机器人操作任务上实现更优性能。
视觉思考-视觉-语言-行动策略:视觉中间推理实现高效低延迟
视觉思考-视觉-语言-行动策略(VisualThink-VLA)引入了一种用于视觉-语言-行动策略的视觉中间推理框架,该框架保留了空间精度,并相比基于文本的推理显著降低了延迟,在机器人操作基准测试中实现了亚秒级推理和领先的成功率。