Motion4Motion:推理时的跨主体运动迁移
摘要
Motion4Motion 是一个无需训练的运动迁移框架,它从视频中建模运动流而不是依赖骨架结构,从而在推理时实现跨物种(例如,从人类到动物)的运动迁移。
查看缓存全文
缓存时间: 2026/07/14 04:12
论文页面 - Motion4Motion:推理过程中的跨主体动作迁移
来源:https://huggingface.co/papers/2607.11644
摘要
本工作探索了从一段视频到另一段视频的动作迁移,这对于多样角色的动画制作至关重要。此前,视频动作迁移已在人类与类人角色之间得到广泛研究,催生了大量数字创作应用。然而,这些方法面临一个主要局限:相关技术流程严重依赖预定义的人类骨架结构,并据此需要基于骨架条件进行模型训练。一方面,这些方法难以泛化到多样化的角色(例如不同物种的动物),同时保留其独特的动作风格。另一方面,多样化骨架的标注数据有限,进一步制约了该任务的大规模训练。在本文中,我们跳出基于骨架的动作迁移框架,提出了一种免训练的动作迁移框架,命名为Motion4Motion。Motion4Motion对视频中角色的运动流进行建模,而非骨架,从而使得跨物种的动作迁移更加容易。大量实验结果和新颖应用表明,我们的方法显著优于基线方法。项目页面见 https://lhchen.top/Motion4Motion/。
查看 arXiv 页面 (https://arxiv.org/abs/2607.11644)查看 PDF (https://arxiv.org/pdf/2607.11644)项目页面 (https://lhchen.top/Motion4Motion/)添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.11644)
引用本文的模型0
无模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2607.11644 以从该页面链接。
引用本文的数据集0
无数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2607.11644 以从该页面链接。
引用本文的Space0
无Space链接此论文
请在Space README.md中引用 arxiv.org/abs/2607.11644 以从该页面链接。
包含本文的收藏集0
无收藏集包含此论文
请将此论文添加至收藏集 (https://huggingface.co/new-collection) 以从该页面链接。
相似文章
Motion
Motion 是一个视频代理,旨在打造品味十足的运动设计。
MoCapAnything V2: 面向任意骨骼的端到端动作捕捉
MoCapAnything V2 提出了一种面向任意骨骼单目视频动作捕捉的完全端到端框架,通过联合优化视频到姿态以及姿态到旋转的预测,解决旋转歧义性问题。
MolmoMotion:语言引导的3D运动预测
MolmoMotion是一种新的语言引导的3D运动预测模型,它从视频帧和动作描述中预测未来的3D点轨迹,性能优于现有方法。同时,该模型还发布了一个大型数据集(MolmoMotion-1M)和一个基准(PointMotionBench)。
VideoMDM: 基于2D监督的3D人体运动生成方法
VideoMDM利用扩散框架,通过2D重投影损失和3D运动正则化器,从2D姿态中训练3D人体运动先验,在无需3D真实数据的情况下实现了接近3D监督的性能。
AnyMo:几何感知的安装无关的真实环境中人体运动建模
AnyMo是一个几何感知的框架,用于安装无关的人体运动建模,它利用基于物理的IMU模拟和图编码,在零样本活动识别、跨模态检索和运动描述等多个数据集上实现了显著改进。