OTRetarget:基于最优传输的机器人与物体运动联合重定向

Hugging Face Daily Papers 论文

摘要

OTRetarget 提出一种统一方法,利用熵最优传输联合重定向机器人与多物体的运动,通过保持接触一致性显著优于 OmniRetarget,并在物理人形机器人 G1 上验证了迁移到强化学习训练的全身策略的可行性。

将人类动作迁移到人形机器人,需要在保持与环境交互的同时,将所演示的动作适配到机器人的形态上。这一挑战在移动操作(loco-manipulation)任务中尤为突出:尽管身体比例存在差异,与地面以及被操作物体之间的接触仍须保持一致。然而,仅凭骨架动作并不能完整描述这些交互,而固定物体的轨迹又会限制向新本体(embodiment)的适配。 在本文中,我们提出 OTRetarget,一种从人类演示中联合重定向机器人与多物体运动的统一方法。我们的方法通过带符号距离(signed distances)、最近表面点(closest surface points)以及相对方向来表示表面交互,并利用熵最优传输(entropic optimal transport)在人体、机器人和物体的几何之间迁移这些量。我们将由此得到的交互目标纳入一个带约束的逆运动学(inverse kinematics)公式中,该公式在接触保持与动作风格之间取得平衡,并在每一帧联合优化机器人与物体的姿态。这一公式无需对场景或演示进行缩放,即可同时处理机器人—物体以及物体—物体之间的交互。 我们在 OMOMO 数据集上验证了所提方法,其机器人—物体交互的 Jaccard 得分为 87%,深度误差为 8.7 mm;而 OmniRetarget 的对应结果分别仅为 28% 和 29.3 mm。最后,我们展示了向物理 G1 人形机器人的迁移能力:基于重定向后的参考动作用强化学习训练的全身策略,能够完成包括双手搬取箱子并将其放置到桌面在内的多种动作。
查看原文
查看缓存全文

缓存时间: 2026/10/02 16:30

论文页面 - OTRetarget:通过最优传输实现机器人与物体运动的联合重定向

Source: https://huggingface.co/papers/2609.36602

摘要

将人体动作迁移到 humanoid 机器人需要在适配机器人形态的同时,保留其与环境的交互。对于 loco-manipulation(移动操作)任务而言,这一点尤其具有挑战性:尽管身体比例存在差异,与地面和被操作物体的接触必须保持一致。然而,仅靠骨骼动作无法完整描述这些交互,而固定物体轨迹又会限制其向新 embodiment 的适配。本文提出了 OTRETARGET,一种从人体示教中联合重定向机器人与多物体运动的统一方法。我们的方法通过 signed distance(有符号距离)、closest surface point(最近表面点)和 relative direction(相对方向)来表示表面交互,并使用熵最优传输(entropic optimal transport)在人体、机器人和物体的几何结构之间迁移这些量。我们将得到的交互目标纳入一个带约束的逆运动学(inverse kinematics)公式中,在接触保持与运动风格之间取得平衡,并在每一帧联合优化机器人与物体的位姿。该公式无需对场景或示教进行重缩放,即可同时处理机器人-物体以及物体-物体之间的交互。我们在 OMOMO 上验证了所提方法,其机器人-物体交互的 Jaccard 得分达到 87%,深度误差为 8.7 mm,而 OmniRetarget 仅为 28% 和 29.3 mm。最后,我们展示了向物理 G1 humanoid 的迁移:基于重定向后的参考动作,使用强化学习(reinforcement learning)训练全身策略(whole-body policy),涵盖多种动作,包括双手搬运箱子并放置到桌面上。

查看 arXiv 页面 (https://arxiv.org/abs/2609.36602) 查看 PDF (https://arxiv.org/pdf/2609.36602) 项目页面 (https://simple-robotics.github.io/publications/otretarget/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.36602)

在你的 agent 中获取该论文:

hf papers read 2609.36602

没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用该论文的模型 0

暂无关联该论文的模型

在一个模型的 README.md 中引用 arxiv.org/abs/2609.36602,即可从本页面链接到它。

引用该论文的数据集 0

暂无关联该论文的数据集

在一个数据集的 README.md 中引用 arxiv.org/abs/2609.36602,即可从本页面链接到它。

引用该论文的 Spaces 0

暂无关联该论文的 Space

在一个 Space 的 README.md 中引用 arxiv.org/abs/2609.36602,即可从本页面链接到它。

包含该论文的合集 0

暂无包含该论文的合集

将该论文添加到合集 (https://huggingface.co/new-collection),即可从本页面链接到它。

相似文章

ABot-M0.5: 统一移动与操作的世界动作模型

Hugging Face Daily Papers

ABot-M0.5 是一种针对移动操作的新型世界动作模型,通过时间粒度对齐、动作空间解耦和训练-测试一致性提升性能,在长时域和细粒度操作基准上达到了最先进水平。

TERRA:面向肌肉骨骼运动的地形感知重建、重定向与控制

Hugging Face Daily Papers

TERRA 是一套端到端流程,用于地形感知的肌肉骨骼运动重建、重定向与控制,使单一基于肌肉驱动的强化学习策略能够在 9.4 小时动作数据的训练下,以更少的解剖学与交互违规穿越多样化的非平坦地形。