论文页面 - OmniHumanoid：基于无配对自适应的流式跨具身视频生成

来源：https://huggingface.co/papers/2605.12038

摘要

OmniHumanoid 通过将运动迁移与具身自适应进行分解，实现了跨具身视频生成，从而能够利用非配对数据，可扩展地适配新的类人机器人形态。

跨具身视频生成（https://huggingface.co/papers?q=Cross-embodiment%20video%20generation）旨在将动作在不同类人机器人形态（https://huggingface.co/papers?q=humanoid%20embodiments）之间进行迁移，例如从人到机器人、从机器人到机器人，从而为具身智能实现可扩展的数据生成。该设置面临的一个主要挑战是：运动动力学在不同形态之间部分可迁移，而外观和形态则具有具身特异性。现有方法常常将这些因素混杂在一起，且许多方法要求每个目标形态都有配对数据，这限制了向新机器人的可扩展性。我们提出了 OmniHumanoid，一个将可迁移运动学习与具身自适应（https://huggingface.co/papers?q=embodiment-specific%20adaptation）相分解的框架。我们的方法从覆盖多种形态的运动对齐配对视频（https://huggingface.co/papers?q=motion-aligned%20paired%20videos）中学习共享的运动迁移（https://huggingface.co/papers?q=motion%20transfer）模型，同时仅需利用非配对视频，通过轻量级具身自适应模块来适配新形态。为了减少运动迁移（https://huggingface.co/papers?q=motion%20transfer）与具身自适应之间的干扰，我们进一步引入了分支隔离注意力（https://huggingface.co/papers?q=branch-isolated%20attention）设计，将运动条件与具身特异性调制分离开来。此外，我们构建了一个合成跨具身数据集（https://huggingface.co/papers?q=synthetic%20cross-embodiment%20dataset），其中包含在多种类人物资、场景和视角下渲染的运动对齐配对视频（https://huggingface.co/papers?q=motion-aligned%20paired%20videos）。在合成和真实世界基准上的实验表明，OmniHumanoid 实现了高运动保真度（https://huggingface.co/papers?q=motion%20fidelity）和具身一致性（https://huggingface.co/papers?q=embodiment%20consistency），同时无需重新训练共享运动模型，即可实现向未见过的类人机器人形态（https://huggingface.co/papers?q=humanoid%20embodiments）的可扩展适配。

查看 arXiv 页面（https://arxiv.org/abs/2605.12038）查看 PDF（https://arxiv.org/pdf/2605.12038）GitHub1（https://github.com/showlab/OmniHumanoid）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.12038）

引用本论文的模型0

暂无模型引用本论文

请在模型 README.md 中引用 arxiv.org/abs/2605.12038 以从本页面链接。

引用本论文的数据集0

暂无数据集引用本论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.12038 以从本页面链接。

引用本论文的空间0

暂无 Space 引用本论文

请在 Space README.md 中引用 arxiv.org/abs/2605.12038 以从本页面链接。

包含本论文的收藏集0

暂无收藏集包含本论文

请将本论文添加到一个收藏集（https://huggingface.co/new-collection）以从本页面链接。