论文页面 - WCM：一种用于视觉-语言-动作强化学习的世界评论模型

来源：https://huggingface.co/papers/2607.29613

摘要

强化学习（RL）后训练视觉-语言-动作（VLA）模型在机器人操作方面展现出巨大潜力。在RL方法中，基于评论家的方法依赖于一个价值估计器，该估计器主要基于单帧观测或单帧VLM骨干网络潜在变量进行运算，这与机器人控制的部分可观测性本质存在根本性不匹配。一种将观测历史纳入评论家的朴素方法会在高维视觉空间中产生指数级复杂度，并且仍然失败，因为纯标量回报回归无法为学习跨时间动态提供足够的监督。我们将根本原因识别为状态近似问题：如果没有明确的世界建模目标，评论家的表示无法捕捉准确价值估计所需的时间结构。为解决这一问题，我们提出了世界评论模型（WCM），构建在轻量级LeJEPA架构之上；WCM联合预测未来潜在状态并估计价值，从而显式地训练评论家的表示以捕捉时间动态，而不仅仅是回归标量回报。WCM无缝集成到在策略和离策略训练流程中，并与包括Pi0、Pi0.5和OpenVLA-OFT在内的最先进VLA骨干网络兼容。在四个基准测试的149个任务上进行的大量实验表明，WCM在分布内和分布外设置中均持续达到最先进性能，尤其在泛化提升方面表现突出。我们进一步使用OpenVLA-OFT和Pi0.5通过离策略RL在七个真实世界操作任务上验证了WCM，确认了在不同场景中的稳定部署。

查看 arXiv 页面查看 PDF项目页面GitHub11添加到收藏

在您的智能体中获取此论文：

hf papers read 2607\.29613

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型 README.md 中引用 arxiv.org/abs/2607.29613 以从此页面链接到它。

引用此论文的数据集0

没有数据集链接到此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.29613 以从此页面链接到它。

引用此论文的Space0

没有Space链接到此论文

在Space README.md 中引用 arxiv.org/abs/2607.29613 以从此页面链接到它。

包含此论文的收藏集0

没有收藏集包含此论文

将该论文添加到收藏集（https://huggingface.co/new-collection）以从此页面链接到它。