论文页面 - VLA-Precision：用于视觉-语言-动作模型高效真实世界在线强化学习的非对称协同自举方法

来源：https://huggingface.co/papers/2609.04355 作者：,

,

,

,

,

,

,

,

,

,

,

摘要

预训练的视觉-语言-动作（VLA）模型能够实现广泛的操作任务，但在要求精度和可重复性的任务中仍存在可靠性不足的问题。将真实世界的在线强化学习（RL）应用于VLA后训练，可以实现超越示范数据的自主试错改进，但暴露了两大瓶颈：1）不可靠的价值信号可能引发策略漂移；2）大型VLA模型的开销限制了吞吐量和样本效率。为解决这些挑战，我们提出VLA-Precision——一个高效的真实世界在线强化学习框架，其特色是采用非对称协同自举（ACoB）算法和ACoB-Stream架构。具体而言，ACoB在不同时间尺度上建立了非对称协同自举机制：早期干预引导的行为学习能够快速提升策略性能，同时增强在线经验质量。随着自主经验的积累，全局回报传播与局部偏好排序逐步校准价值估计，为参考正则化的策略改进生成相对动作优势，同时抑制漂移。为支持在大型VLA模型上实现ACoB，我们开发了ACoB-Stream——一个采用不变状态解耦和按需流式处理设计原则的闭环经验-策略架构，在吞吐量和计算效率上实现了最高达10.9倍的提升。在四个类别九个高精度化学任务和四种机器人形态上的广泛评估表明，VLA-Precision在45.8分钟/任务内实现了98.3%的平均成功率，以VLA基线1.2倍和RL基线1.8倍的速度运行，平均每集耗时27.6秒。相关资源已发布于 https://vla-precision.github.io 。

查看 arXiv 页面 (https://arxiv.org/abs/2609.04355)查看 PDF (https://arxiv.org/pdf/2609.04355)项目页面 (https://vla-precision.github.io/)GitHub 81 (https://github.com/scy-v/VLA-Precision)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.04355)

在您的智能体中获取此论文：

hf papers read 2609.04355

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

无模型链接本文档

在模型的 README.md 中引用 arxiv.org/abs/2609.04355 以从本页链接。

引用本文的数据集 0

无数据集链接本文档

在数据集的 README.md 中引用 arxiv.org/abs/2609.04355 以从本页链接。

引用本文的 Space 0

无 Space 链接本文档

在 Space 的 README.md 中引用 arxiv.org/abs/2609.04355 以从本页链接。

包含本文的合集 0

无合集包含本文档

将本文添加到合集 (https://huggingface.co/new-collection) 以从本页链接。