论文页面 - 面向零样本仿真到真实VLA增强的以物体为中心的残差强化学习

来源：https://huggingface.co/papers/2606.18953

摘要

一种以物体为中心的残差强化学习框架，通过仿真训练的修正策略，在零样本情况下克服仿真到真实的挑战，提升了真实世界视觉-语言-动作模型的鲁棒性。

视觉-语言-动作（VLA）模型能泛化到多种操作任务，但其基于模仿学习的策略在精确物理交互中因累积执行错误而脆弱；一个完全在仿真中训练的强化学习（https://huggingface.co/papers?q=reinforcement%20learning）策略能否零样本提升真实世界VLA的鲁棒性？残差强化学习（https://huggingface.co/papers?q=Residual%20RL）在冻结的VLA之上学习修正策略，提供了自然框架，但现有方法面临根本性的仿真到真实困境（https://huggingface.co/papers?q=sim-to-real%20dilemma）：特权状态方法需要有损蒸馏才能部署；基于图像的方法受限于视觉域差距（https://huggingface.co/papers?q=domain%20gap）；真实世界强化学习代价高昂且存在安全风险。我们提出了一种以物体为中心的残差强化学习（https://huggingface.co/papers?q=residual%20RL）框架，利用物体姿态精炼VLA动作，实现了紧凑的观测空间，在仿真与现实之间保持一致迁移。为了对齐两个域，我们还在仿真中重放相同的遥操作（https://huggingface.co/papers?q=teleoperation）演示，以训练真实世界VLA的仿真对应体。该残差强化学习（https://huggingface.co/papers?q=residual%20RL）策略仅在仿真中通过姿态噪声注入和dropout进行训练，并零样本迁移到真实机器人。在真实的Franka Research 3 (FR3)机器人上的五个操作任务中，我们的方法将成功率从42%零样本提升至76%，并且改进的轨迹可进一步用于重新训练基础VLA以实现自我改进，而无需额外的遥操作（https://huggingface.co/papers?q=teleoperation）。项目页面：https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/

查看arXiv页面（https://arxiv.org/abs/2606.18953）查看PDF（https://arxiv.org/pdf/2606.18953）项目页面（https://www.microsoft.com/en-us/research/articles/object-centric-residual-rl/）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.18953）

在你的代理中获取此论文：

hf papers read 2606.18953

没有最新的CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型链接此论文

在模型的README.md中引用arxiv.org/abs/2606.18953以从此页面链接它。

引用此论文的数据集0

没有数据集链接此论文

在数据集的README.md中引用arxiv.org/abs/2606.18953以从此页面链接它。

引用此论文的Space0

没有Space链接此论文

在Space的README.md中引用arxiv.org/abs/2606.18953以从此页面链接它。

包含此论文的收藏集0

没有收藏集包含此论文

将此论文添加到一个收藏集（https://huggingface.co/new-collection）以从此页面链接它。