论文页面 - OmniTacTune：策略无关的真实世界强化学习实现视觉策略的触觉残差适应

来源：https://huggingface.co/papers/2607.03723

摘要

OmniTacTune 通过一种两阶段强化学习方法，实现了对视觉机器人策略的高效触觉反馈适应，显著提升了接触密集型操作任务的成功率。

从人类视频、遥操作和机器人演示中学习得到的视觉策略（https://huggingface.co/papers?q=Visual%20policies）提供了可扩展的运动先验，但在接触密集型操作（https://huggingface.co/papers?q=contact-rich%20manipulation）中常常失效——这类任务的成败高度依赖于局部力与接触几何形状。触觉传感（https://huggingface.co/papers?q=Tactile%20sensing）提供了这些互补信号，然而触觉数据的采集成本高昂，且难以跨传感器、机器人和任务进行泛化。我们提出了 OmniTacTune，一个策略无关（https://huggingface.co/papers?q=policy-agnostic）的真实世界强化学习（https://huggingface.co/papers?q=real-world%20RL）流水线，通过残差校正（https://huggingface.co/papers?q=residual%20correction）将触觉反馈（https://huggingface.co/papers?q=tactile%20feedback）适应到预训练的视觉策略（https://huggingface.co/papers?q=visual%20policies）中。OmniTacTune 采用两阶段设计：首先从自主的基础策略展开（https://huggingface.co/papers?q=base-policy%20rollouts）中引导出触觉感知学习（https://huggingface.co/papers?q=tactile-aware%20learning），然后通过在线交互学习一个轻量级的触觉残差策略（https://huggingface.co/papers?q=tactile%20residual%20policy）。大量实验表明，OmniTacTune 能够跨多种接触密集型任务、视觉基础策略和触觉表示进行泛化。在四个真实世界接触密集型任务中，它在 40-80 分钟内将视觉基础策略的成功率从 5-40% 提升至 85-100%，展示了一条将触觉反馈（https://huggingface.co/papers?q=tactile%20feedback）高效适应到可扩展视觉机器人策略的有效路径。项目页面：https://colinyu1.github.io/omnitactune-site/

查看 arXiv 页面（https://arxiv.org/abs/2607.03723）查看 PDF（https://arxiv.org/pdf/2607.03723）项目页面（https://colinyu1.github.io/omnitactune-site/）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.03723）

在您的智能体中获取本篇论文：

hf papers read 2607.03723

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

没有模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.03723 以将此页面链接至模型。

引用本论文的数据集0

没有数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.03723 以将此页面链接至数据集。

引用本论文的 Spaces0

没有 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.03723 以将此页面链接至 Space。

包含本论文的收藏集0

没有收藏集包含此论文

请将此论文添加到收藏集（https://huggingface.co/new-collection）中以从此页面进行链接。