OTRetarget:基于最优传输的机器人与物体运动联合重定向
摘要
OTRetarget 提出一种统一方法,利用熵最优传输联合重定向机器人与多物体的运动,通过保持接触一致性显著优于 OmniRetarget,并在物理人形机器人 G1 上验证了迁移到强化学习训练的全身策略的可行性。
查看缓存全文
缓存时间: 2026/10/02 16:30
论文页面 - OTRetarget:通过最优传输实现机器人与物体运动的联合重定向
Source: https://huggingface.co/papers/2609.36602
摘要
将人体动作迁移到 humanoid 机器人需要在适配机器人形态的同时,保留其与环境的交互。对于 loco-manipulation(移动操作)任务而言,这一点尤其具有挑战性:尽管身体比例存在差异,与地面和被操作物体的接触必须保持一致。然而,仅靠骨骼动作无法完整描述这些交互,而固定物体轨迹又会限制其向新 embodiment 的适配。本文提出了 OTRETARGET,一种从人体示教中联合重定向机器人与多物体运动的统一方法。我们的方法通过 signed distance(有符号距离)、closest surface point(最近表面点)和 relative direction(相对方向)来表示表面交互,并使用熵最优传输(entropic optimal transport)在人体、机器人和物体的几何结构之间迁移这些量。我们将得到的交互目标纳入一个带约束的逆运动学(inverse kinematics)公式中,在接触保持与运动风格之间取得平衡,并在每一帧联合优化机器人与物体的位姿。该公式无需对场景或示教进行重缩放,即可同时处理机器人-物体以及物体-物体之间的交互。我们在 OMOMO 上验证了所提方法,其机器人-物体交互的 Jaccard 得分达到 87%,深度误差为 8.7 mm,而 OmniRetarget 仅为 28% 和 29.3 mm。最后,我们展示了向物理 G1 humanoid 的迁移:基于重定向后的参考动作,使用强化学习(reinforcement learning)训练全身策略(whole-body policy),涵盖多种动作,包括双手搬运箱子并放置到桌面上。
查看 arXiv 页面 (https://arxiv.org/abs/2609.36602) 查看 PDF (https://arxiv.org/pdf/2609.36602) 项目页面 (https://simple-robotics.github.io/publications/otretarget/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36602)
在你的 agent 中获取该论文:
hf papers read 2609.36602
没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用该论文的模型 0
暂无关联该论文的模型
在一个模型的 README.md 中引用 arxiv.org/abs/2609.36602,即可从本页面链接到它。
引用该论文的数据集 0
暂无关联该论文的数据集
在一个数据集的 README.md 中引用 arxiv.org/abs/2609.36602,即可从本页面链接到它。
引用该论文的 Spaces 0
暂无关联该论文的 Space
在一个 Space 的 README.md 中引用 arxiv.org/abs/2609.36602,即可从本页面链接到它。
包含该论文的合集 0
暂无包含该论文的合集
将该论文添加到合集 (https://huggingface.co/new-collection),即可从本页面链接到它。
相似文章
HOI-Retarget: 面向人与物体交互的接触中心重定向方法
HOI-Retarget 介绍了一种以接触为中心的重定向方法,用于将人与物体交互转移到人形机器人上,从而能够从单次演示和单目视频接触中生成大规模运动数据。
Morphometric Imitation: 从形态与接触感知的手部重定向到仿真到现实的视觉运动策略
Morphometric Immitation 提出了一种三阶段框架,该框架将重建的人类手物交互转化为零样本仿真到现实的视觉运动策略,从而增强灵巧操作任务中的接触保持和成功率。
ABot-M0.5: 统一移动与操作的世界动作模型
ABot-M0.5 是一种针对移动操作的新型世界动作模型,通过时间粒度对齐、动作空间解耦和训练-测试一致性提升性能,在长时域和细粒度操作基准上达到了最先进水平。
TERRA:面向肌肉骨骼运动的地形感知重建、重定向与控制
TERRA 是一套端到端流程,用于地形感知的肌肉骨骼运动重建、重定向与控制,使单一基于肌肉驱动的强化学习策略能够在 9.4 小时动作数据的训练下,以更少的解剖学与交互违规穿越多样化的非平坦地形。
Humanoid-GPT:扩展数据和结构以实现零样本运动追踪
Humanoid-GPT 是一种GPT风格的Transformer,在十亿级运动语料库上预训练,实现了对未见过的动作和任务的全身运动追踪的零样本泛化。