Motion4Motion:推理时的跨主体运动迁移

Hugging Face Daily Papers 论文

摘要

Motion4Motion 是一个无需训练的运动迁移框架,它从视频中建模运动流而不是依赖骨架结构,从而在推理时实现跨物种(例如,从人类到动物)的运动迁移。

本文探讨了从一个视频到另一个视频的运动迁移,这对于动画中多样化的角色至关重要。此前,视频运动迁移主要在人类和类人角色之间进行了大量探索,为数字创作带来了许多应用。然而,这些方法面临一个主要限制。具体来说,相关技术流程严重依赖于预定义的人体骨架结构,并因此需要进行基于骨架条件的模型训练。一方面,这些方法难以泛化到多样化的角色(例如不同物种的动物),同时保留其独特的运动风格。另一方面,多样化骨架的标注数据有限,这进一步限制了该任务的大规模训练。在本文中,我们跳出了基于骨架的运动迁移框架,提出了一种无需训练的运动迁移框架,名为 Motion4Motion。Motion4Motion 对视频中角色的运动流进行建模,而不是骨架,这使得跨物种的运动迁移更加容易。大量的实验结果和新颖的应用表明,我们的方法在性能上显著优于基线方法。项目页面请访问 https://lhchen.top/Motion4Motion。
查看原文
查看缓存全文

缓存时间: 2026/07/14 04:12

论文页面 - Motion4Motion:推理过程中的跨主体动作迁移

来源:https://huggingface.co/papers/2607.11644

摘要

本工作探索了从一段视频到另一段视频的动作迁移,这对于多样角色的动画制作至关重要。此前,视频动作迁移已在人类与类人角色之间得到广泛研究,催生了大量数字创作应用。然而,这些方法面临一个主要局限:相关技术流程严重依赖预定义的人类骨架结构,并据此需要基于骨架条件进行模型训练。一方面,这些方法难以泛化到多样化的角色(例如不同物种的动物),同时保留其独特的动作风格。另一方面,多样化骨架的标注数据有限,进一步制约了该任务的大规模训练。在本文中,我们跳出基于骨架的动作迁移框架,提出了一种免训练的动作迁移框架,命名为Motion4Motion。Motion4Motion对视频中角色的运动流进行建模,而非骨架,从而使得跨物种的动作迁移更加容易。大量实验结果和新颖应用表明,我们的方法显著优于基线方法。项目页面见 https://lhchen.top/Motion4Motion/。

查看 arXiv 页面 (https://arxiv.org/abs/2607.11644)查看 PDF (https://arxiv.org/pdf/2607.11644)项目页面 (https://lhchen.top/Motion4Motion/)添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.11644)

引用本文的模型0

无模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.11644 以从该页面链接。

引用本文的数据集0

无数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.11644 以从该页面链接。

引用本文的Space0

无Space链接此论文

请在Space README.md中引用 arxiv.org/abs/2607.11644 以从该页面链接。

包含本文的收藏集0

无收藏集包含此论文

请将此论文添加至收藏集 (https://huggingface.co/new-collection) 以从该页面链接。

相似文章

Motion

Product Hunt

Motion 是一个视频代理,旨在打造品味十足的运动设计。

MolmoMotion:语言引导的3D运动预测

Hugging Face Blog

MolmoMotion是一种新的语言引导的3D运动预测模型,它从视频帧和动作描述中预测未来的3D点轨迹,性能优于现有方法。同时,该模型还发布了一个大型数据集(MolmoMotion-1M)和一个基准(PointMotionBench)。

VideoMDM: 基于2D监督的3D人体运动生成方法

Hugging Face Daily Papers

VideoMDM利用扩散框架,通过2D重投影损失和3D运动正则化器,从2D姿态中训练3D人体运动先验,在无需3D真实数据的情况下实现了接近3D监督的性能。