CoDance:从视频中学习反应式与柔顺的人机交互

Hugging Face Daily Papers 论文

摘要

CoDance 提出一个从单个双人舞蹈视频中学习反应式、柔顺的人机交互框架,通过多连杆柔顺性增强将运动学演示转化为力感知训练数据,使人形机器人能在物理演示中与人类伙伴完成持续双手舞蹈并灵活调整步态。

双人协作的人机交互将移动与持续的身体接触耦合在一起。人形机器人需要在协调人类运动的同时,响应交互力并保持稳定、自然的动作。我们提出 CoDance,一个从视频中学习反应式与柔顺的人机交互的框架。我们以双人协作为一个具有挑战性的应用场景进行研究,其中人形机器人需要与移动的伙伴协调步态,并维持持续的双手接触。给定一段两位人类舞者的视频,CoDance 将他们的动作重定向为机器人参考动作与移动伙伴的运动。我们引入了一种多连杆柔顺性增强方法,在双手施加结构化力的条件下调整机器人参考动作,从而将运动学演示转化为力感知的训练数据。基于该数据训练的策略能够跟随观测到的伙伴,同时保留演示中的移动风格,并对物理交互做出柔顺的响应。在仿真中,策略能够根据伙伴的变化调整步态,并复现增强演示中约 80% 的腕部位移。在实体人形机器人上,CoDance 实现了与人类伙伴持续的双手舞蹈,包括反复进行前向与后向运动之间的切换。
查看原文
查看缓存全文

缓存时间: 2026/10/08 15:58

论文页面 - CoDance:从视频中学习反应性与柔顺性的人-人形机器人交互

来源:https://huggingface.co/papers/2610.05324

摘要

双人人形机器人交互将运动控制与持续的物理接触耦合在一起。人形机器人需要在与人类动作协调的同时,响应交互力并保持稳定、自然的运动。我们提出了 CoDance,一个从视频中学习具有反应性和柔顺性的人-人形机器人交互的框架。我们以双人舞蹈作为一个具有挑战性的具体场景进行研究,其中人形机器人需要与移动的舞伴协调步伐,并保持双手持续接触。给定一段两名人类舞者的视频,CoDance 将他们的动作重定向为机器人参考动作和一个移动的舞伴。我们引入了一种多连杆柔顺性增强方法,通过在双手施加结构化力的条件下调整机器人参考动作,将运动学演示转化为力感知的训练数据。在该数据上训练的策略能够跟随观察到的舞伴运动,同时保留演示中的运动风格,并对物理交互做出柔顺的响应。在仿真中,策略能够根据舞伴的变化调整步伐,并重现增强演示中约 80% 的腕部位移。在实体人形机器人上,CoDance 实现了与人类舞伴的持续双人舞蹈,包括前向和后向运动之间的反复切换。

查看 arXiv 页面 (https://arxiv.org/abs/2610.05324) 查看 PDF (https://arxiv.org/pdf/2610.05324) 项目页面 (https://generalroboticslab.com/CoDance) GitHub5 (https://github.com/generalroboticslab/codance) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.05324)

在你的代理中获取这篇论文:

hf papers read 2610.05324

还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.05324 即可从本页面链接该模型。

引用此论文的数据集 1

GeneralRoboticsLab/CoDance 更新于约 1 小时前 • 28 (https://huggingface.co/datasets/GeneralRoboticsLab/CoDance)

引用此论文的 Spaces 0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.05324 即可从本页面链接该 Space。

包含此论文的合集 0

暂无合集包含此论文

将此论文加入合集 (https://huggingface.co/new-collection) 即可从本页面链接该合集。

相似文章

CoDA:数据引擎与动作策略的协同演化

Hugging Face Daily Papers

CoDA 提出一种仿真数据引擎与机器人动作策略协同演进的框架,通过共享失败与学习进展记忆、视觉语言诊断以及 Text2potential 分阶段势能奖励,将机器人操作任务的分布外成功率从 5.3% 提升至 27.6%,并在 LIBERO-Pro 上取得显著改善。

从任务配对的人类视频中学习可迁移的世界-动作模型

Hugging Face Daily Papers

该论文提出WATCH,一种跨视频预训练方法,通过任务配对的人类演示学习可迁移的世界-动作模型,无需人-机器人配对数据;在机器人后训练后将MimicDroid的上下文内成功率从40.9%提升至68.3%(Cosmos Policy)以及从59.8%提升至77.7%(Cosmos 3)。