论文页面 - MoCapAnything V2：面向任意骨骼的端到端动作捕捉

来源：https://huggingface.co/papers/2604.28130 作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

一种面向任意骨骼动作捕捉的完全端到端框架，联合优化视频到姿态和姿态到旋转的预测，同时通过参考姿态-旋转对和骨骼感知注意力机制解决旋转歧义性问题。

近期从单目视频中提取任意骨骼动作捕捉的方法遵循一种分解式流水线：Video-to-Pose 网络预测关节位置，然后通过解析逆运动学（IK）阶段恢复关节旋转。虽然这种方法有效，但其设计存在固有限制，因为关节位置无法完全确定旋转，会留下诸如骨骼轴扭转之类的自由度歧义，且不可微的 IK 阶段使系统无法适应噪声预测或针对最终动画目标进行优化。在本工作中，我们提出了首个完全端到端框架，其中 Video-to-Pose 和 Pose-to-Rotation 均为可学习的，并进行联合优化。我们观察到，姿态到旋转映射中的歧义源于缺失的坐标系信息：相同的关节位置在不同的 rest pose 和局部轴约定下可能对应不同的旋转。为解决这一问题，我们引入了来自目标资产的参考姿态-旋转对，它与 rest pose 一起不仅锚定了映射关系，还定义了底层旋转坐标系。这一表述将旋转预测转化为一个条件充分的问题，并实现了有效的学习。此外，我们的模型直接从视频预测关节位置，无需依赖网格中间表示，从而提高了鲁棒性和效率。两个阶段共享一个骨骼感知的全局-局部图引导多头注意力（GL-GMHA）模块，用于关节级局部推理和全局协调。在 Truebones Zoo 和 Objaverse 上的实验表明，我们的方法将旋转误差从约 17 度降低到约 10 度，在未见骨骼上达到 6.54 度，同时推理速度比基于网格的流水线快约 20 倍。项目页面：https://animotionlab.github.io/MoCapAnythingV2/

查看 arXiv 页面 (https://arxiv.org/abs/2604.28130)查看 PDF (https://arxiv.org/pdf/2604.28130)项目页面 (https://animotionlab.github.io/MoCapAnythingV2/)GitHub203 (https://github.com/animotionlab26/MocapAnything)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2604.28130)

引用该论文的模型0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2604.28130 以从该页面链接。

引用该论文的数据集0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2604.28130 以从该页面链接。

引用该论文的 Spaces0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2604.28130 以从该页面链接。

包含该论文的收藏1