论文页面 - 从预训练到精通：以最小人类干预实现长时域操控任务的真实世界子任务强化学习

来源：https://huggingface.co/papers/2609.21788

摘要

一个预训练的机器人基础策略可能完成大部分长时域任务，却会在少数关键子任务上反复失败。为收集额外的完整任务示范以进行监督微调，需要操作员重复执行策略已能良好完成的行为。强化学习微调为弥合这一差距提供了有前景的路径，但现有方法在仅使用稀疏奖励求解长时域任务时仍面临挑战。我们提出 PARTS（针对目标子任务的强化学习策略适应），这是一种真实世界子任务强化学习框架。该框架将练习集中于这些瓶颈子任务，同时允许训练回合在最小人类干预下进行。冻结的预训练策略在整个执行过程中提供名义动作，而代理生成的选择器和成功验证器则激活残差修正并提供局部结果奖励。这些奖励支持从成功的子任务中学习，即使完整任务的成功案例稀少。训练结合在线强化学习与成功加权重训练，每个重训练的残差策略都会重新部署以收集更多经验。人类在设置阶段识别瓶颈，并在需要时执行物理重置。在双手 YAM 任务和单臂 Franka 任务上，PARTS 分别将完整任务成功率从 32% 提升至 61%、从 50% 提升至 95%，平均每任务仅需数十分钟真实世界强化学习回合。与现有真实世界强化学习微调方法相比，在相同的机器人回合预算下，PARTS 将完整任务成功率提升了 25% 以上，同时需要更少的人类参与。

查看 arXiv 页面 (https://arxiv.org/abs/2609.21788) 查看 PDF (https://arxiv.org/pdf/2609.21788) 项目页面 (https://destiny000621.github.io/PARTS/) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.21788)

通过您的代理获取此论文：

hf papers read 2609\.21788

尚未安装最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2609.21788 即可从本页链接到该模型。

引用此论文的数据集 0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2609.21788 即可从本页链接到该数据集。

引用此论文的 Space 0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2609.21788 即可从本页链接到该 Space。

包含此论文的收藏 0

无收藏包含此论文

将此论文添加至收藏 (https://huggingface.co/new-collection) 以从本页链接到它。