meituan-longcat/LongCat-Video-Avatar-1.5 · Hugging Face

来源：https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5 LongCat-Video

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#%F0%9F%9A%80-model-introduction🚀 模型简介

我们很高兴地发布 LongCat-Video-Avatar 1.5，这是一个升级版的开源框架，专注于极致的经验优化和生产级可用性，用于音频驱动的人体视频生成。基于 LongCat-Video 基础模型，v1.5 实现了高度稳定、商业级的虚拟人视频合成，原生支持音频文本到视频（AT2V）、音频文本图像到视频（ATI2V）以及视频延续任务，并可无缝兼容单流和多流音频输入。

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#key-features关键特性

• 🌟升级的音频编码器（Whisper-Large）： 用 Whisper-Large 替代 Wav2Vec2，使嘴唇动态显著更平滑、更自然。
• 🌟生产级稳定性： 实现精准的唇形同步、全身时间稳定性，以及严格身份一致性的稳健长视频生成。
• 🌟风格化领域泛化： 对动漫、动物以及多人交互、物体操作等复杂真实场景具有良好的泛化能力。
• 🌟高效 8 步推理： 基于 DMD2 的步数蒸馏将推理加速至 8 个 NFE，在成本效益服务与卓越视觉保真度之间取得平衡。

更多详情请参阅全面的LongCat-Video-Avatar-1.5 技术报告 (https://github.com/meituan-longcat/LongCat-Video/blob/main/assets/LongCat-Video-Avatar-1.5-Tech-Report.pdf)。

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#%F0%9F%8C%80-preview-gallery🌀 预览画廊

LongCat-Video-Avatar 1.5 支持多种应用场景，包括直播、表演、唱歌、电商营销、多人对话、动画和动物角色。

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#%F0%9F%93%8A-human-evaluation📊 人工评估

我们引入了一个专门针对音频驱动数字人生成的全方位人工评估基准。该基准涵盖 6 个应用场景（新闻播报、知识教育、日常生活、娱乐、唱歌、商业推广）、2 种语言（中文/英文）和 2 种视觉风格（写实/动画），共 508 个音频-图像源对。评估方法：(1) 主观赛道：770 名众包评估员对每个生成的视频按 1-5 分模拟人程度打分，共产生 13,240 份判断。(2) 客观赛道：10 名领域专家从四个维度进行结构化质量分析：物理合理性、协调性（音视频协调）、时间稳定性和身份一致性。

结果如下图所示：(a) 专家在四个维度上的客观质量评估 (b) 与领先商业模型的主观模拟人程度对比。

LongCat-Video-Avatar

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#%F0%9F%92%A1-quick-start💡 快速开始

克隆仓库

git clone --single-branch --branch main https://github.com/meituan-longcat/LongCat-Video cd LongCat-Video

安装依赖

``

创建 conda 环境

conda create -n longcat-video python=3.10 conda activate longcat-video

安装 torch（根据您的 CUDA 版本配置）

pip install torch==2.6.0+cu124 torchvision==0.21.0+cu124 torchaudio==2.6.0 –index-url https://download.pytorch.org/whl/cu124

安装 flash-attn-2

pip install ninja pip install psutil pip install packaging pip install flash_attn==2.7.4.post1

安装其他依赖

pip install -r requirements.txt

安装 longcat-video-avatar 所需依赖

conda install -c conda-forge librosa conda install -c conda-forge ffmpeg pip install -r requirements_avatar.txt ``

FlashAttention-2 默认在模型配置中启用；您也可以更改模型配置以使用 FlashAttention-3 或 xformers。

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#%E2%9B%BD%EF%B8%8F-model-download⛽️ 模型下载

模型描述下载链接LongCat-Video基础视频生成🤗Huggingface (https://huggingface.co/meituan-longcat/LongCat-Video)LongCat-Video-Avatar-1.5单角色与多角色音频驱动视频生成🤗Huggingface (https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5) 使用 huggingface-cli 下载模型：

pip install "huggingface_hub[cli]" huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.5 --local-dir ./weights/LongCat-Video-Avatar-1.5

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#%F0%9F%94%91-quick-inference🔑 快速推理

使用提示

• 唇形同步精度： Audio CFG 在 3-5 之间效果最佳。增大 Audio CFG 值可获得更好的同步效果。 - 提示词增强： 更长、更描述性的提示词比短提示词能带来更好的一致性和自然度。建议包含角色外貌、动作和场景背景等丰富细节（例如，“一位长发年轻女性，面带微笑，身穿白色衬衫，坐在明亮的咖啡馆里”）以获得最佳效果。 - 减少重复动作： 将参考图像索引 (–ref_img_index，默认为 10) 设置在 0 到 24 之间可确保更好的一致性；设为 30 有助于减少重复动作。此外，增大遮罩帧范围 (–mask_frame_range，默认为 3) 可以进一步帮助缓解重复动作，但过大的值可能会引入伪影。 - 超分辨率： 我们的模型兼容 480P 和 720P，可通过 –resolution 控制。 - 双音频模式： 混合模式（设置 audio_type 为 para）需要两段等长音频，结果音频通过对两段音频求和得到；串联模式（设置 audio_type 为 add）不需要等长输入，结果音频通过依次拼接两段音频并在间隔处填充静音得到，默认 person1 先说话，person2 后说话。 - 模型版本： --model_type avatar-v1.0 使用 wav2vec2 音频编码器（默认）；--model_type avatar-v1.5 使用 Whisper-large-v3 音频编码器以获得更好的唇形同步质量。 - 蒸馏模式： 添加 --use_distill 以启用蒸馏采样（步数更少，推理更快）。在使用 --model_type avatar-v1.5 时必须使用此参数。 - INT8 量化： 添加 --use_int8 以加载 INT8 量化的 DiT 模型，减少显存占用。仅支持 --model_type avatar-v1.5。

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#single-person-animation单人动画

``

音频-文本到视频

torchrun –nproc_per_node=2 run_demo_avatar_single_audio_to_video.py –context_parallel_size=2 –checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 –stage_1=at2v –input_json=assets/avatar/single_example_1.json –use_distill –model_type avatar-v1.5 –use_int8

音频-图像到视频

torchrun –nproc_per_node=2 run_demo_avatar_single_audio_to_video.py –context_parallel_size=2 –checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 –stage_1=ai2v –input_json=assets/avatar/single_example_1.json –use_distill –model_type avatar-v1.5 –use_int8

音频-文本到视频和视频延续

torchrun –nproc_per_node=2 run_demo_avatar_single_audio_to_video.py –context_parallel_size=2 –checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 –stage_1=at2v –input_json=assets/avatar/single_example_1.json –num_segments=5 –ref_img_index=10 –mask_frame_range=3 –use_distill –model_type avatar-v1.5 –use_int8

音频-图像到视频和视频延续

torchrun –nproc_per_node=2 run_demo_avatar_single_audio_to_video.py –context_parallel_size=2 –checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 –stage_1=ai2v –input_json=assets/avatar/single_example_1.json –num_segments=5 –ref_img_index=10 –mask_frame_range=3 –use_distill –model_type avatar-v1.5 –use_int8 ``

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#multi-person-animation多人动画

``

音频-图像到视频

torchrun –nproc_per_node=2 run_demo_avatar_multi_audio_to_video.py –context_parallel_size=2 –checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 –input_json=assets/avatar/multi_example_1.json –use_distill –model_type avatar-v1.5 –use_int8

音频-图像到视频和视频延续

torchrun –nproc_per_node=2 run_demo_avatar_multi_audio_to_video.py –context_parallel_size=2 –checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 –input_json=assets/avatar/multi_example_1.json –num_segments=5 –ref_img_index=10 –mask_frame_range=3 –use_distill –model_type avatar-v1.5 –use_int8 ``

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#%E2%9A%96%EF%B8%8F-license-agreement⚖️ 许可协议

模型权重根据MIT 许可证发布。

除非另有说明，对本仓库的任何贡献均根据 MIT 许可证许可。本许可证不授予使用美团商标或专利的任何权利。

请参阅 LICENSE (https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5/blob/main/LICENSE) 文件获取完整的许可证文本。

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#%F0%9F%A7%A0-usage-considerations🧠 使用注意事项

本模型并非针对每一种可能的下游应用进行专门设计或全面评估。

开发者在将模型部署到敏感或高风险场景前，应考虑大型语言模型的已知局限性，包括不同语言之间的性能差异，并仔细评估准确性、安全性和公平性。开发者和下游用户有责任理解并遵守与其使用场景相关的所有适用法律法规，包括但不限于数据保护、隐私和内容安全要求。

本模型卡中的任何内容均不应被解释为修改或限制模型所依据的 MIT 许可证的条款。

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#%F0%9F%93%96-citation📖 引用

如果您觉得我们的工作有用，我们恳请引用。

@misc{meituanlongcatteam2025longcatvideoavatar15technicalreport, title={LongCat-Video-Avatar 1.5 Technical Report}, author={Meituan LongCat Team}, year={2026}, eprint={}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={}, }

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#%F0%9F%99%8F-acknowledgements🙏 致谢

我们感谢 Wan (https://huggingface.co/Wan-AI)、UMT5-XXL (https://huggingface.co/google/umt5-xxl)、Diffusers (https://github.com/huggingface/diffusers) 和 HuggingFace (https://huggingface.co/) 仓库的贡献者，感谢他们的开放研究。

https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5#%F0%9F%93%9E-contact📞 联系方式

如有任何问题，请通过 [email protected] 联系我们，或加入我们的微信群组。