Wan-Animate-2:拓展角色动画模型的应用边界
摘要
Wan-Animate-2 是一个全新的端到端角色动画框架,它在重新设计的 Diffusion Transformer 中直接输入驱动视频,实现高保真动作生成和身份保持。它还推出了一个轻量级变体,用于实时流式动画,并已发布开源权重。
📝 简介
我们提出了 Wan-Animate-2,一个新颖的端到端角色动画框架,它在重新设计的 Diffusion Transformer 中直接输入驱动视频,通过消除中间运动提取器来实现高保真动作生成和强大的身份保持。我们还增加了文本驱动的视角控制,将输出相机视角与驱动视频解耦。此外,我们开发了 Wan-Animate-2-Lite,一个高效变体,将推理延迟降低到实时阈值,用于流式角色动画。
发布说明:
2026 年 8 月 7 日:🎉 我们发布了 Wan-Animate-2 推理脚本。
2026 年 8 月 7 日:🎉 我们发布了 Wan-Animate-2 Base 模型权重。
2026 年 8 月 7 日:🎉 我们发布了 Wan-Animate-2 Distillation 模型权重。
模型:
https://huggingface.co/Wan-AI/Wan2.2-Animate-2-14B
https://huggingface.co/Wan-AI/Wan2.2-Animate-2-14B-Diffusers
https://huggingface.co/Wan-AI/Wan2.2-Animate-2-14B-Distilled-Diffusers
GitHub:
https://github.com/Wan-Video/Wan-Animate-2
相似文章
Wan-AI/Wan-Dancer-14B
Wan-Dancer 是一个分层框架,用于从音乐生成长时间、连贯的舞蹈视频,模型权重和推理代码已在 Hugging Face 上发布。
LiveAnimate:实时稳定长时流式人体动画
LiveAnimate 提出了一个14B参数的视频扩散Transformer,通过PR-Sink注意力机制实现了实时、长时、姿态驱动的人体动画,具有稳定流式生成和恒定内存占用。在两个H100 GPU上实现了19.63 FPS的推理速度,在长达三分钟的流中保持质量。
Wan-Streamer v0.1:端到端实时交互基础模型
Wan-Streamer是一个统一的端到端多模态模型,用于实时音视频交互,采用因果注意力机制,并集成处理视觉、音频和文本模态,实现了亚秒级延迟。
Viggle/Viggle-Animate
Viggle-Animate 是一款 AI 模型,仅使用单张重绘帧即可替换视频中的角色,无需复杂的中间表示,即可实现高效准确的动作迁移。
AnyTalk:利用视频生成模型为任意角色生成语音动画
AnyTalk 通过角色特定微调适应视频扩散模型,并优化混合形状参数,无需动画数据即可为任意角色生成 3D 语音动画,并提供实时蒸馏变体。