论文页面 - 视频扩散模型在手部运动重建中的惊人有效性

来源：https://huggingface.co/papers/2606.30308

摘要

ViDiHand 利用预训练视频扩散模型的表征，结合手部叠加渲染，直接从视频帧中重建 4D 手部运动，无需检测器或优化。

从以自我为中心的视频（https://huggingface.co/papers?q=egocentric%20video）进行 4D 手部运动重建（https://huggingface.co/papers?q=4D%20hand%20motion%20reconstruction）受限于现有方法的明显不足：基于图像的流水线依赖于在严重遮挡下失败的检测器，而基于视频的方法依赖仅从稀缺的手部姿态标注（https://huggingface.co/papers?q=hand-pose%20annotations）中学习到的时间模块（https://huggingface.co/papers?q=temporal%20modules），这是一种不足以建模运动动态、遮挡推理和手物交互的狭窄信号。然而，这些能力正是视频生成模型（https://huggingface.co/papers?q=video%20generative%20models）在训练合成互联网规模连贯视频时必须隐式获得的。受此启发，我们提出了 ViDiHand，它利用预训练视频扩散模型的表征来重建 4D 双手姿态。我们通过一个手部叠加渲染（https://huggingface.co/papers?q=hand-overlay%20rendering）目标来适配它，该目标使其特征专门用于手部，同时保留其世界先验。然后，一个解码器从适配后的特征中恢复公制尺度姿态（https://huggingface.co/papers?q=metric-scale%20pose）。整个流水线直接操作于完整帧（https://huggingface.co/papers?q=full%20frames）——无需检测器、无需填充器，也无需测试时优化。在 ARCTIC、HOT3D 和 HOI4D 上，ViDiHand 大幅优于先前方法，将视频扩散模型（https://huggingface.co/papers?q=video%20diffusion%20models）确立为手部运动重建的强大新基础，并为具身 AI 的可扩展野外数据收集提供了一条有前景的路径。项目页面：https://vidihand.github.io/。

查看 arXiv 页面（https://arxiv.org/abs/2606.30308）查看 PDF（https://arxiv.org/pdf/2606.30308）项目页面（https://vidihand.github.io/）GitHub1（https://github.com/NTUYWANG103/ViDiHand）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.30308）

在您的代理中获取此论文：

hf papers read 2606.30308

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.30308 以从此页面链接它。

引用此论文的数据集0

无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.30308 以从此页面链接它。

引用此论文的 Spaces0

无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.30308 以从此页面链接它。

包含此论文的收藏1