DragMesh-2：与铰接物体的物理合理灵巧手-物体交互

Hugging Face Daily Papers 论文
dexterous-manipulation articulated-objects hand-object-interaction reinforcement-learning contact-aware simulation robotics

摘要

本文介绍了DragMesh-2和PICA方法，用于通过模拟中的接触感知强化学习来学习与铰接物体的物理合理灵巧手-物体交互，在没有明确触觉反馈的情况下实现有效操作。

灵巧地与铰接物体交互对于家庭、辅助和人形操作非常重要，其中多指手可以提供超越平行爪抓取的柔顺接触模式。然而，铰接物体操作不同于静态物体操作：目标部件无法直接驱动，其运动必须通过持续的手-手柄物理接触来产生。这使得从以物体为中心的铰接生成过渡到手驱动的灵巧手-物体交互变得不平凡，因为几何轨迹重播或开环执行不能模拟移动铰接部件所需的接触动力学。此外，仅在固定动力学下为任务完成而训练的策略可能会过拟合标称接触负载，尤其是在没有触觉或力反馈的情况下，并且当接触负载变化时性能可能会下降。为了解决这些挑战，我们提出了DragMesh-2，一个接触驱动的灵巧交互框架，用于与铰接物体的交互，它将铰接交互从以物体为中心的生成扩展到手驱动的灵巧手-物体交互，其中铰接运动必须通过物理接触产生。我们进一步提出了PICA，一种物理信息感知的接触感知训练机制，它将物理信号注入策略学习而无需触觉或力反馈，提高了在变化接触负载下的鲁棒性和任务成功率。最后，我们跨多种阻尼条件和铰接物体类别进行了系统评估，以研究接触负载变化下的鲁棒性，并提供了一个纯几何灵巧交互资源，以支持未来的移动操作和人形手-物体交互研究。在七个GAPartNet物体上，DragMesh-2在接触负载变化下实现了比对比方法更强的鲁棒性，同时在不同阻尼条件下保持高任务成功率。
查看原文
查看缓存全文

缓存时间: 2026/06/20 14:28

论文页面 - DragMesh-2: 面向铰接物体的物理合理灵巧手物交互

来源：https://huggingface.co/papers/2606.15133
感谢提问，也感谢你分享博客。

在铰接物体操作中，目标关节无法直接驱动。门或抽屉的运动必须来自手与把手之间持续且有效的物理接触。因此，我们的目标不是让策略简单地重放手部轨迹，而是让它学会如何通过接触来驱动物体。

PICA 背后的直觉来源于人们实际拉动物体的方式。通常，我们先建立接触，然后根据最近的交互调整下一个动作。如果手仍在把手上，但门或抽屉移动不足，我们可能会加大拉力或改变拉力方向。如果接触丢失，我们首先恢复接触。PICA 试图编码这种短期交互反馈。

我们不使用显式的触觉感知或力反馈。相反，我们利用仿真中可用的手-把手接触信息。策略接收一段短的接触-交互历史，从而能够根据接触是否保持或丢失、以及近期接触是否产生了关节运动进展来调节其动作。在 PPO 奖励中，我们也加入了接触感知项，例如脱手惩罚、动作饱和惩罚和任务进展奖励。此外，我们在训练过程中引入阻尼和接触负载变化，使策略无法简单过拟合到单一名义动力学设定上。

因此，PICA 通过仿真导出的接触状态与历史、接触感知奖励塑造以及动力学随机化，将物理交互信号注入策略学习。这促使策略学习维持接触并通过接触驱动目标关节的行为，而不仅仅是匹配一个几何轨迹。

关于真实硬件泛化，我认为前景可期但尚未完全解决。PICA 的一个优势是不依赖显式的触觉或力反馈，因此更接近许多真实机器人手部设置。然而，真实硬件仍会引入摩擦与接触不匹配、执行器延迟、标定误差、背隙、柔顺性以及把手位姿估计噪声。此外，仿真中可用的干净接触状态与历史需要在真实系统中通过视觉、本体感觉、电机电流或其他信号间接估计。

因此，我更将 PICA 视为向硬件可行的接触感知学习迈出的一步，而非一个完整的仿真到现实解决方案 :)

相似文章

学习灵巧性

OpenAI Blog

OpenAI 宣布推出 Dactyl，这是一个通过模拟和强化学习来学习机器人手灵巧性的系统，使用 LSTM 来在不同物理环境中泛化，并通过 Rapid PPO 实现来训练能够迁移到现实世界操纵任务的策略。

重新审视机器人操作中的关节部件感知

Hugging Face Daily Papers

本文提出了几何基本结构（GPS），这是一种用于机器人操作中关节部件感知的新表示方法，支持高效的VR标注，无需微调即可达到73%的成功率。