MimicX:面向视频驱动人形机器人动作跟踪的策略在环监督精炼

Hugging Face Daily Papers 论文

摘要

MimicX 提出了一种策略在环的监督精炼方法,用于视频驱动的人形机器人动作跟踪,使机器人能够执行从普通视频演示中捕捉到的人体动作(网球、颠球、舞蹈、功夫、跑酷),包括在存在碰撞的场景中。

人体视频为人形机器人的学习提供了丰富的动作目标,但视觉上看似合理的参考动作在基于物理的执行中仍可能导致持续性失败。这些失败恰恰揭示了训练监督应该如何调整。我们提出 MimicX——一个策略在环的框架,利用执行反馈来精炼视频驱动的人形动作跟踪。MimicX 从重建和重定向后的动作出发,定位困难的过渡段和受影响的身体区域,然后联合调整跟踪目标和用于策略续训的重置课程。通过反复的推演验证,在跟踪约束的限制下筛选出以执行优先的改进方案。在四项核心视频任务中,MimicX 在跟踪精度和稳健执行时长(Robust Execution Horizon)上均稳定优于固定参考(Fixed Reference)基线。任务平均结果显示,身体跟踪误差降低了 25.7%,执行时长提升了 255.6%。此外,视频、动作参考和碰撞场景的扩展实验在核心任务之外进一步评估了该方法,而 MimicX-HLoop 通过异构执行加速了反馈循环。总体而言,MimicX 将策略失败转化为可操作的监督信号,从而决定需要精炼什么以及保留哪些精炼结果。
查看原文
查看缓存全文

缓存时间: 2026/10/15 07:03

论文页面 - MimicX:面向视频驱动人形机器人动作跟踪的策略在环监督精炼

来源:https://huggingface.co/papers/2610.09055

更多视频:从人体动作到机器人执行

在下方探索更多 MimicX 内容:完整的输入到策略序列、碰撞场景执行以及详细的动作可视化。四任务、五方法的对比视频集锦见上方主展示区。

四项技能,从输入到执行

网球挥拍、足球颠球、舞蹈序列与功夫:人类演示与录制的 MimicX 执行动作并列展示。

碰撞场景中的执行

人类原始片段与所学的穿越树林、上楼梯动作在等效任务场景中的执行表现。

注册体育场中的足球动作

录制的机器人动作被置入体育场场景,并配有展示道具。

足球接触瞬间慢动作

由录制机器人动作驱动的物理接触片段,以四分之一速度展示。

跑酷执行

经过局部时间重定标的跑酷录制片段。

视频到策略的闭环

视频到策略的闭环(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/fav_OM7O6Gp33vzaPHs1Y.png)

反复验证与 HLoop

反复验证与 HLoop(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/iem73SOn0JdDbFz5qi-ry.png)

功夫:视频到执行的各阶段

功夫:视频到执行的各阶段(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/U2s2euS4zYte7yhc-kDLs.png)

网球动作全景

网球动作全景(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/OViWFRczJkOW6t1UOsG6G.png)

足球动作全景

足球动作全景(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/iuwCCTe_RiCehXFjgqhqT.png)

球场场景中的网球

球场场景中的网球(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/uGuOTxiUu95toZ2sRX6oj.png)

体育场场景中的足球

体育场场景中的足球(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/f9oWTrOKWvk2coEwQ6NiG.png)

五个碰撞场景示例

五个场景下的源动作与录制执行动作快照。

五个碰撞场景示例(https://cdn-uploads.huggingface.co/production/uploads/660a1a9e42025e0a8b83d2d1/tyxNy0o2-Djb76zWUZcK7.png)

项目主页与视频(https://nebulis-lab.com/MimicX/)|代码(https://github.com/NEBULIS-Lab/MimicX)|预训练策略(https://huggingface.co/Shuaijun/MimicX-Policies)|动作资产(https://huggingface.co/datasets/Shuaijun/MimicX-Assets)

相似文章

ActiveMimic: 基于主动感知的自我中心视频预训练

Hugging Face Daily Papers

ActiveMimic 是一个预训练框架,它从自我中心人体视频中恢复相机和手腕轨迹,将主动感知建模为视角动作,从而使机器人预训练能够达到与直接在机器人数据上训练的模型相当的性能。

Flux 3 X Mimic:新一代视频-动作模型

Hacker News Top

Black Forest Labs 宣布推出 FLUX 3,这是一个多模态基础模型,可联合生成视听内容,并通过与 mimic robotics 的合作,实现用于机器人控制的视频-动作预测,已在奥迪进行测试。