论文页面 - DexPolicy：用于轨迹引导灵巧操作的调度探索

来源：https://huggingface.co/papers/2610.00360

摘要

灵巧操作的强化学习（(RL)）必须先发现手指与物体的接触，再对物体进行精确控制；为前一个目标服务的动作噪声会干扰后一个目标。在轨迹引导的设定中，例如从人类视频中精调手—物轨迹的ViViDex，我们的基线PPO运行在5M步后，其动作噪声已回落到初始水平附近，这促使我们需要显式地控制探索规模。DexPolicy将这一规模设计为训练步数的显式函数，在损失、架构、奖励和优化器设置保持不变的情况下，让探索从宽到窄逐渐退火。我们研究了三种策略优化设定：PPO、无Critic的GRPO续训，以及一种流参数化的PPO变体（FPO）。在五个YCB物体和三个训练随机种子上，确定性Target成功率平均从49.4%提升至68.1%（FPO）、从14.1%提升至45.4%（GRPO）、从32.0%提升至35.7%（PPO）。在RealMan RM75机械臂搭配Inspire/RH56手部上，对三个物体进行360次试验，平均Target成功率从25.0%提升至85.0%（FPO）、从10.0%提升至63.3%（GRPO）、从8.3%提升至43.3%（PPO），且每个“物体—方法“条件只使用一个训练好的模型。PPO组件筛查更倾向于噪声控制而非测试过的优化器收缩策略；所选的PPO调度在三个测试物体上都比具有相同终点的线性衰减取得了更高的平均Target成功率。训练回报、确定性Target成功率以及对执行噪声的容忍度之间是相互分离的；因此，调度方案应当在预期执行条件下，依据每个任务及策略优化设定的最终任务成功率来评判。代码：https://github.com/AIGeeksGroup/DexPolicy。网站：https://aigeeksgroup.github.io/DexPolicy。

查看 arXiv 页面 (https://arxiv.org/abs/2610.00360)　查看 PDF (https://arxiv.org/pdf/2610.00360)　项目页面 (https://aigeeksgroup.github.io/DexPolicy/)　GitHub0 (https://github.com/AIGeeksGroup/DexPolicy)　添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.00360)

在你的智能体中获取这篇论文：

hf papers read 2610.00360

还没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有与本文关联的模型。

在模型 README.md 中引用 arxiv.org/abs/2610.00360 即可从本页链接到它。

引用本文的数据集0

没有与本文关联的数据集。

在数据集 README.md 中引用 arxiv.org/abs/2610.00360 即可从本页链接到它。

引用本文的 Spaces0

没有与本文关联的 Space。

在 Space README.md 中引用 arxiv.org/abs/2610.00360 即可从本页链接到它。

包含本文的合集0

没有合集包含本文。

将本文添加到一个合集即可从本页链接到它。