MimicX:面向视频驱动人形机器人动作跟踪的策略在环监督精炼
摘要
MimicX 提出了一种策略在环的监督精炼方法,用于视频驱动的人形机器人动作跟踪,使机器人能够执行从普通视频演示中捕捉到的人体动作(网球、颠球、舞蹈、功夫、跑酷),包括在存在碰撞的场景中。
查看缓存全文
缓存时间: 2026/10/15 07:03
论文页面 - MimicX:面向视频驱动人形机器人动作跟踪的策略在环监督精炼
来源:https://huggingface.co/papers/2610.09055
更多视频:从人体动作到机器人执行
在下方探索更多 MimicX 内容:完整的输入到策略序列、碰撞场景执行以及详细的动作可视化。四任务、五方法的对比视频集锦见上方主展示区。
四项技能,从输入到执行
网球挥拍、足球颠球、舞蹈序列与功夫:人类演示与录制的 MimicX 执行动作并列展示。
碰撞场景中的执行
人类原始片段与所学的穿越树林、上楼梯动作在等效任务场景中的执行表现。
注册体育场中的足球动作
录制的机器人动作被置入体育场场景,并配有展示道具。
足球接触瞬间慢动作
由录制机器人动作驱动的物理接触片段,以四分之一速度展示。
跑酷执行
经过局部时间重定标的跑酷录制片段。
视频到策略的闭环
视频到策略的闭环(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/fav_OM7O6Gp33vzaPHs1Y.png)
反复验证与 HLoop
反复验证与 HLoop(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/iem73SOn0JdDbFz5qi-ry.png)
功夫:视频到执行的各阶段
功夫:视频到执行的各阶段(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/U2s2euS4zYte7yhc-kDLs.png)
网球动作全景
网球动作全景(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/OViWFRczJkOW6t1UOsG6G.png)
足球动作全景
足球动作全景(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/iuwCCTe_RiCehXFjgqhqT.png)
球场场景中的网球
球场场景中的网球(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/uGuOTxiUu95toZ2sRX6oj.png)
体育场场景中的足球
体育场场景中的足球(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/f9oWTrOKWvk2coEwQ6NiG.png)
五个碰撞场景示例
五个场景下的源动作与录制执行动作快照。
五个碰撞场景示例(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/tyxNy0o2-Djb76zWUZcK7.png)
项目主页与视频(https://nebulis-lab.com/MimicX/)|代码(https://github.com/NEBULIS-Lab/MimicX)|预训练策略(https://huggingface.co/Shuaijun/MimicX-Policies)|动作资产(https://huggingface.co/datasets/Shuaijun/MimicX-Assets)
相似文章
DeVI:基于物理的灵巧人-物交互,通过合成视频模仿实现
DeVI 提出一种框架,借助混合 3D-2D 跟踪奖励,将文本驱动的合成视频转化为具备物理可信度的灵巧机器人控制,实现对未见物体的零样本泛化。
ActiveMimic: 基于主动感知的自我中心视频预训练
ActiveMimic 是一个预训练框架,它从自我中心人体视频中恢复相机和手腕轨迹,将主动感知建模为视角动作,从而使机器人预训练能够达到与直接在机器人数据上训练的模型相当的性能。
InterMimicGen:通过自我进化的运动模仿扩展人形机器人 loco-manipulation
InterMimicGen 提出一个自我进化的运动模仿框架,通过数据飞轮将稀疏的人-物交互动作捕捉数据转化为持续扩展的、可执行的人形机器人全身 loco-manipulation 动作资源,并实现向真实机器人的迁移。
Morphometric Imitation: 从形态与接触感知的手部重定向到仿真到现实的视觉运动策略
Morphometric Immitation 提出了一种三阶段框架,该框架将重建的人类手物交互转化为零样本仿真到现实的视觉运动策略,从而增强灵巧操作任务中的接触保持和成功率。
Flux 3 X Mimic:新一代视频-动作模型
Black Forest Labs 宣布推出 FLUX 3,这是一个多模态基础模型,可联合生成视听内容,并通过与 mimic robotics 的合作,实现用于机器人控制的视频-动作预测,已在奥迪进行测试。