meituan-longcat/LongCat-Video 来源：https://github.com/meituan-longcat/LongCat-Video

LongCat-Video

模型介绍

我们推出 LongCat-Video，一个拥有 136 亿参数的基础视频生成模型，在 文生视频（Text-to-Video）、图生视频（Image-to-Video） 和 视频续写（Video-Continuation） 任务上均表现出色。它尤其擅长高效、高质量的长视频生成，是我们迈向世界模型的第一步。

主要特性

• 🌟 统一的多任务架构：LongCat-Video 在同一个视频生成框架中统一了 文生视频、图生视频 和 视频续写 任务。单一模型即可原生支持所有这些任务，并在每个任务上均保持强劲性能。

• 🌟 长视频生成：LongCat-Video 原生在 视频续写 任务上进行预训练，能够生成分钟级的长视频，且不会出现色彩漂移或质量下降。

• 🌟 高效推理：LongCat-Video 沿时间和空间两个轴采用由粗到细的生成策略，仅需几分钟即可生成 720p、30fps 的视频。Block Sparse Attention 进一步提升了效率，在高分辨率下尤为明显。

• 🌟 基于多奖励 RLHF 的强劲性能：在多奖励 Group Relative Policy Optimization（GRPO）的驱动下，在内部及公开基准上的全面评测表明，LongCat-Video 的性能可与领先的开源视频生成模型以及最新的商业方案相媲美。

更多细节请参阅 LongCat-Video 技术报告（https://arxiv.org/abs/2510.22200）。

🎥 展示视频

🔥 最新动态！！

• 2026 年 5 月 21 日：🚀 我们发布了 LongCat-Video-Avatar-1.5（https://meigen-ai.github.io/LongCat-Video-Avatar-1.5-Page/），一个升级版的音频驱动人物视频生成开源框架。v1.5 用 Whisper-Large 替换了 Wav2Vec2，以实现更精准的唇形同步；通过鲁棒的长视频生成达到了生产级的物理合理性和时间稳定性；可泛化到风格化领域（动漫、动物、复杂真实世界场景）；同时支持单流和多流音频输入；并通过步数蒸馏将推理加速至 8 步。[代码（https://github.com/meituan-longcat/LongCat-Video）| 🤗 权重（https://huggingface.co/meituan-longcat/LongCat-Video-Avatar-1.5）| 项目主页（https://meigen-ai.github.io/LongCat-Video-Avatar-1.5-Page/）]

• 2025 年 12 月 16 日：🚀 我们很高兴地宣布发布 LongCat-Video-Avatar（https://meigen-ai.github.io/LongCat-Video-Avatar/），这是一个统一模型，能生成富有表现力且高度动态的音频驱动角色动画，原生支持 音频-文生视频（Audio-Text-to-Video）、音频-图生视频（Audio-Text-Image-to-Video） 和 视频续写 任务，并无缝兼容 单流 和 多流 音频输入。此次发布包含我们的 技术报告（https://github.com/meituan-longcat/LongCat-Video）、推理代码（https://github.com/meituan-longcat/LongCat-Video）、🤗 模型权重（https://huggingface.co/meituan-longcat/LongCat-Video-Avatar）以及 项目主页（https://meigen-ai.github.io/LongCat-Video-Avatar/）。

• 2025 年 10 月 25 日：🚀 我们已发布 LongCat-Video，一个基础视频生成模型。技术报告和模型可通过 LongCat-Video 技术报告（https://arxiv.org/abs/2510.22200）以及 🤗 Huggingface（https://huggingface.co/meituan-longcat/LongCat-Video）获取！

快速开始

安装

克隆仓库：

git clone --single-branch --branch main https://github.com/meituan-longcat/LongCat-Video
cd LongCat-Video

安装依赖：

# 创建 conda 环境
conda create -n longcat-video python=3.10
conda activate longcat-video
# 安装 torch（请根据你的 CUDA 版本进行配置）
pip install torch==2.6.0+cu124 torchvision==0.21.0+cu124 torchaudio==2.6.0 --index-url https://download.pytorch.org/whl/cu124
# 安装 flash-attn-2
pip install ninja
pip install psutil
pip install packaging
pip install flash_attn==2.7.4.post1
# 安装其他依赖
pip install -r requirements.txt
# 安装 longcat-video-avatar 依赖
conda install -c conda-forge librosa
conda install -c conda-forge ffmpeg
pip install -r requirements_avatar.txt

模型配置默认启用了 FlashAttention-2；安装完成后，你也可以修改模型配置（“./weights/LongCat-Video/dit/config.json”）来使用 FlashAttention-3 或 xformers。

模型下载

使用 huggingface-cli 下载模型：

pip install "huggingface_hub[cli]"
huggingface-cli download meituan-longcat/LongCat-Video --local-dir ./weights/LongCat-Video
huggingface-cli download meituan-longcat/LongCat-Video-Avatar --local-dir ./weights/LongCat-Video-Avatar
huggingface-cli download meituan-longcat/LongCat-Video-Avatar-1.5 --local-dir ./weights/LongCat-Video-Avatar-1.5

运行文生视频

# 单 GPU 推理
torchrun run_demo_text_to_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile
# 多 GPU 推理
torchrun --nproc_per_node=2 run_demo_text_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video --enable_compile

运行图生视频

# 单 GPU 推理
torchrun run_demo_image_to_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile
# 多 GPU 推理
torchrun --nproc_per_node=2 run_demo_image_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video --enable_compile

运行视频续写

# 单 GPU 推理
torchrun run_demo_video_continuation.py --checkpoint_dir=./weights/LongCat-Video --enable_compile
# 多 GPU 推理
torchrun --nproc_per_node=2 run_demo_video_continuation.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video --enable_compile

运行长视频生成

# 单 GPU 推理
torchrun run_demo_long_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile
# 多 GPU 推理
torchrun --nproc_per_node=2 run_demo_long_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video --enable_compile

运行交互式视频生成

# 单 GPU 推理
torchrun run_demo_interactive_video.py --checkpoint_dir=./weights/LongCat-Video --enable_compile
# 多 GPU 推理
torchrun --nproc_per_node=2 run_demo_interactive_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video --enable_compile

运行 LongCat-Video-Avatar

💡 针对 1.5 版本的用户提示

• 唇形同步精度： Audio CFG 在 3–5 之间效果最佳。调高 Audio CFG 值以获得更好的同步效果。
• 提示词优化： 更长、更具描述性的提示词比简短的提示词能产生更好的一致性和自然度。建议在提示词中包含丰富的细节，如角色外观、动作和场景上下文（例如，“一位留着黑色长发的年轻女性坐在明亮的咖啡馆里，穿着白色衬衫，正在微笑着说话”），以获得最佳效果。
• 缓解重复动作： 将参考图像索引（–ref_img_index，默认为 10）设置在 0 到 24 之间可确保更好的一致性；将其设置为 30 有助于减少重复动作。此外，增大掩码帧范围（–mask_frame_range，默认为 3）可进一步帮助缓解重复动作，但过大的值可能会引入伪影。
• 超分辨率： 我们的模型兼容 480P 和 720P，可通过 –resolution 控制。
• 双音频模式： 合并模式（将 audio_type 设为 para）需要两段等长的音频，生成的音频由两段音频相加获得；拼接模式（将 audio_type 设为 add）不要求等长输入，生成的音频按顺序拼接两段音频，对空缺部分用静音填充，默认情况下 person1 先说话，person2 后说话。
• 模型版本： --model_type avatar-v1.0 使用 wav2vec2 音频编码器（默认）；--model_type avatar-v1.5 使用 Whisper-large-v3 音频编码器，唇形同步质量更优。
• 蒸馏模式： 添加 --use_distill 启用蒸馏采样（更少的推理步数，更快的推理速度）。使用 --model_type avatar-v1.5 时必须启用此选项。
• INT8 量化： 添加 --use_int8 加载 INT8 量化的 DiT 模型，以降低显存占用。仅支持与 --model_type avatar-v1.5 配合使用。

💡 针对 1.0 版本的用户提示

• 唇形同步精度：Audio CFG 在 3–5 之间效果最佳。调高 Audio CFG 值以获得更好的同步效果。
• 提示词优化：在提示词中包含清晰的语言-动作线索（例如，talk、speak），以实现更自然的唇部动作。
• 缓解重复动作：将参考图像索引（–ref_img_index，默认为 10）设置在 0 到 24 之间可确保更好的一致性，而选择其他范围（如 -10 或 30）有助于减少重复动作。此外，增大掩码帧范围（–mask_frame_range，默认为 3）可进一步帮助缓解重复动作，但过大的值可能会引入伪影。
• 超分辨率：我们的模型兼容 480P 和 720P，可通过 –resolution 控制。
• 双音频模式：合并模式（将 audio_type 设为 para）需要两段等长的音频，生成的音频由两段音频相加获得；拼接模式（将 audio_type 设为 add）不要求等长输入，生成的音频按顺序拼接两段音频，对空缺部分用静音填充，默认情况下 person1 先说话，person2 后说话。

LongCat-Video-Avatar-1.5

• 单音频视频生成

# 音频-文生视频
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 --stage_1=at2v --input_json=assets/avatar/single_example_1.json --use_distill --model_type avatar-v1.5 --use_int8
# 音频-图生视频
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 --stage_1=ai2v --input_json=assets/avatar/single_example_1.json --use_distill --model_type avatar-v1.5 --use_int8
# 音频-文生视频 + 视频续写
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 --stage_1=at2v --input_json=assets/avatar/single_example_1.json --num_segments=5 --ref_img_index=10 --mask_frame_range=3 --use_distill --model_type avatar-v1.5 --use_int8
# 音频-图生视频 + 视频续写
torchrun --nproc_per_node=2 run_demo_avatar_single_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 --stage_1=ai2v --input_json=assets/avatar/single_example_1.json --num_segments=5 --ref_img_index=10 --mask_frame_range=3 --use_distill --model_type avatar-v1.5 --use_int8

• 多音频视频生成

# 音频-图生视频
torchrun --nproc_per_node=2 run_demo_avatar_multi_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 --input_json=assets/avatar/multi_example_1.json --use_distill --model_type avatar-v1.5 --use_int8
# 音频-图生视频 + 视频续写
torchrun --nproc_per_node=2 run_demo_avatar_multi_audio_to_video.py --context_parallel_size=2 --checkpoint_dir=./weights/LongCat-Video-Avatar-1.5 --input_json=assets/avatar/multi_example_1.json --num_segments=5 --ref_img_index=10 --mask_frame_range=3 --use_distill --model_type avatar-v1.5 --use_int8

运行 Streamlit

# 单 GPU 推理
streamlit run ./run_streamlit.py --server.fileWatcherType none --server.headless=false

评测结果

文生视频

我们在内部基准上对 文生视频 任务的 MOS 评测结果。

图生视频

我们在内部基准上对 图生视频 任务的 MOS 评测结果。

社区作品

欢迎社区作品！请通过 PR 或在 Issue 中告知我们，以添加你的作品。

• CacheDiT（https://github.com/vipshop/cache-dit）为 LongCat-Video 提供了 DBCache 和 TaylorSeer 的完全缓存加速支持，在无明显精度损失的情况下实现了近 1.7 倍的加速。访问他们的示例（https://github.com/vipshop/cache-dit/blob/main/examples/pipeline/run_longcat_video.py）了解更多详情。

许可协议

模型权重基于 MIT 许可协议 发布。本仓库的任何贡献均在 MIT 许可协议下许可，除非另有说明。本许可协议不授予使用美团商标或专利的任何权利。完整的许可文本请参阅 LICENSE 文件。

使用注意事项

该模型并非针对所有可能的下游应用专门设计，也未经过全面评测。开发者应考虑大型语言模型的已知局限性，包括不同语言间的表现差异，并在部署到敏感或高风险场景之前，仔细评估其准确性、安全性和公平性。开发者和下游用户有责任了解并遵守与其使用场景相关的所有法律法规，包括但不限于数据保护、隐私和内容安全方面的规定。本模型卡中的任何内容不应被理解为修改或限制 MIT 许可协议下发布的模型条款。

引用

如果你觉得我们的工作有用，我们诚挚地希望你能引用我们的成果。

@misc{meituanlongcatteam2025longcatvideotechnicalreport,
  title={LongCat-Video Technical Report},
  author={Meituan LongCat Team and Xunliang Cai and Qilong Huang and Zhuoliang Kang and Hongyu Li and Shijun Liang and Liya Ma and Siyu Ren and Xiaoming Wei and Rixu Xie and Tong Zhang},
  year={2025},
  eprint={2510.22200},
  archivePrefix={arXiv},
  primaryClass={cs.CV},
  url={https://arxiv.org/abs/2510.22200},
}
@misc{meituanlongcatteam2026l