CoDance:从视频中学习反应式与柔顺的人机交互
摘要
CoDance 提出一个从单个双人舞蹈视频中学习反应式、柔顺的人机交互框架,通过多连杆柔顺性增强将运动学演示转化为力感知训练数据,使人形机器人能在物理演示中与人类伙伴完成持续双手舞蹈并灵活调整步态。
查看缓存全文
缓存时间: 2026/10/08 15:58
论文页面 - CoDance:从视频中学习反应性与柔顺性的人-人形机器人交互
来源:https://huggingface.co/papers/2610.05324
摘要
双人人形机器人交互将运动控制与持续的物理接触耦合在一起。人形机器人需要在与人类动作协调的同时,响应交互力并保持稳定、自然的运动。我们提出了 CoDance,一个从视频中学习具有反应性和柔顺性的人-人形机器人交互的框架。我们以双人舞蹈作为一个具有挑战性的具体场景进行研究,其中人形机器人需要与移动的舞伴协调步伐,并保持双手持续接触。给定一段两名人类舞者的视频,CoDance 将他们的动作重定向为机器人参考动作和一个移动的舞伴。我们引入了一种多连杆柔顺性增强方法,通过在双手施加结构化力的条件下调整机器人参考动作,将运动学演示转化为力感知的训练数据。在该数据上训练的策略能够跟随观察到的舞伴运动,同时保留演示中的运动风格,并对物理交互做出柔顺的响应。在仿真中,策略能够根据舞伴的变化调整步伐,并重现增强演示中约 80% 的腕部位移。在实体人形机器人上,CoDance 实现了与人类舞伴的持续双人舞蹈,包括前向和后向运动之间的反复切换。
查看 arXiv 页面 (https://arxiv.org/abs/2610.05324) 查看 PDF (https://arxiv.org/pdf/2610.05324) 项目页面 (https://generalroboticslab.com/CoDance) GitHub5 (https://github.com/generalroboticslab/codance) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.05324)
在你的代理中获取这篇论文:
hf papers read 2610.05324
还没有最新版 CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用此论文的模型 0
暂无模型关联此论文
在模型 README.md 中引用 arxiv.org/abs/2610.05324 即可从本页面链接该模型。
引用此论文的数据集 1
GeneralRoboticsLab/CoDance 更新于约 1 小时前 • 28 (https://huggingface.co/datasets/GeneralRoboticsLab/CoDance)
引用此论文的 Spaces 0
暂无 Space 关联此论文
在 Space README.md 中引用 arxiv.org/abs/2610.05324 即可从本页面链接该 Space。
包含此论文的合集 0
暂无合集包含此论文
将此论文加入合集 (https://huggingface.co/new-collection) 即可从本页面链接该合集。
相似文章
CoDA:数据引擎与动作策略的协同演化
CoDA 提出一种仿真数据引擎与机器人动作策略协同演进的框架,通过共享失败与学习进展记忆、视觉语言诊断以及 Text2potential 分阶段势能奖励,将机器人操作任务的分布外成功率从 5.3% 提升至 27.6%,并在 LIBERO-Pro 上取得显著改善。
DeVI:基于物理的灵巧人-物交互,通过合成视频模仿实现
DeVI 提出一种框架,借助混合 3D-2D 跟踪奖励,将文本驱动的合成视频转化为具备物理可信度的灵巧机器人控制,实现对未见物体的零样本泛化。
CoInteract:通过空间结构化协同生成实现物理一致的人-物交互视频合成
CoInteract 提出端到端 Diffusion Transformer 框架,联合建模 RGB 外观与 HOI 几何,在零推理开销下生成物理合理、手脸稳定的人-物交互视频。
InterMimicGen:通过自我进化的运动模仿扩展人形机器人 loco-manipulation
InterMimicGen 提出一个自我进化的运动模仿框架,通过数据飞轮将稀疏的人-物交互动作捕捉数据转化为持续扩展的、可执行的人形机器人全身 loco-manipulation 动作资源,并实现向真实机器人的迁移。
从任务配对的人类视频中学习可迁移的世界-动作模型
该论文提出WATCH,一种跨视频预训练方法,通过任务配对的人类演示学习可迁移的世界-动作模型,无需人-机器人配对数据;在机器人后训练后将MimicDroid的上下文内成功率从40.9%提升至68.3%(Cosmos Policy)以及从59.8%提升至77.7%(Cosmos 3)。