论文页面 - HarmoHOI: Harmonizing Appearance and 3D Motion for Multi-view Hand-Object Interaction Synthesis

来源：https://huggingface.co/papers/2607.17097

摘要

手-物交互（HOI）合成是动画制作和具身AI的基石。尽管视频基础模型具有强大先验，但由于复杂手部运动和遮挡，多视角一致的HOI合成仍然具有挑战性。我们提出HarmoHOI，一个统一的扩散框架，能够共同且和谐地生成同步的多视角HOI视频和全局对齐的3D点轨迹。我们的核心见解是：鲁棒的多视角一致性根本上需要全局对齐的3D几何和运动。为此，我们提出了一种混合多视角扩散变换器（Mixture of Multi-view Diffusion Transformer），用于共同建模RGB视频和3D点轨迹。通过将点轨迹表示为伪视频，我们将3D几何信号与基础模型的2D潜在空间对齐，从而最小化领域差距并简化先验的适应。为了进一步确保几何一致性，我们引入了全局运动对齐扩散（Global Motion Aligning Diffusion），将粗略的点轨迹精炼为公制尺度、全局对齐的3D轨迹。HarmoHOI在去噪过程中实现了2D外观和3D运动的即时共进化。为了克服多视角HOI数据的稀缺性，我们采用了一种混合数据课程学习策略，成功地将通用先验从单视角数据迁移到同步多视角生成。实验结果表明，HarmoHOI在视觉质量、运动合理性和多视角几何一致性方面达到了最先进的性能。项目页面见 https://droliven.github.io/HarmoHOI_project/。

查看 arXiv 页面 (https://arxiv.org/abs/2607.17097) 查看 PDF (https://arxiv.org/pdf/2607.17097) 项目页面 (https://droliven.github.io/HarmoHOI_project/) GitHub0 (https://github.com/Droliven/HarmoHOI_project) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.17097)

在你的 agent 中获取此论文：

hf papers read 2607.17097

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.17097 以从本页链接。

引用此论文的数据集0

暂无数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.17097 以从本页链接。

引用此论文的 Spaces0

暂无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2607.17097 以从本页链接。

包含此论文的收藏集1