apple/FastFrames-L
摘要
Apple 发布了 FastFrames-S(1.3B)和 FastFrames-L(14B),这是一类自回归两步视频扩散模型,能够以交互级延迟生成 480p 视频(FastFrames-S 每帧约 35ms),同时还带来了一个优化后的 LingBot 1.3B,运行速度提升 16 倍,并支持流畅的相机条件控制。
查看缓存全文
缓存时间: 2026/11/19 03:39
apple/FastFrames-L · Hugging Face
来源:https://huggingface.co/apple/FastFrames-L
https://huggingface.co/apple/FastFrames-L#fastframes-video-generation-at-interactive-latency FastFrames:以交互级延迟实现视频生成
项目主页 (https://apple-aiml-research.github.io/ml-fastframes/) · arXiv (https://arxiv.org/abs/2611.23226) · FastFrames-S (https://huggingface.co/apple/FastFrames-S) · FastFrames-L (https://huggingface.co/apple/FastFrames-L)
本仓库包含 FastFrames: Video Generation at Interactive Latency 的官方实现。我们发布了 FastFrames-S (https://huggingface.co/apple/FastFrames-S)(1.3B)和 FastFrames-L (https://huggingface.co/apple/FastFrames-L)(14B)。两者均为自回归的两步视频扩散模型,能够在交互级延迟下生成 480p 视频。我们还发布了一个优化版的 LingBot 1.3B,其速度比官方模型快 16 倍,并支持流畅的相机条件控制。
- 延迟分析 (https://huggingface.co/apple/FastFrames-L#latency-profiling)
- 基于 LingBot 的交互式演示 (https://huggingface.co/apple/FastFrames-L#interactive-demo-with-lingbot)
- T2V 生成 (https://huggingface.co/apple/FastFrames-L#t2v-generation)
- VBench 评估 (https://huggingface.co/apple/FastFrames-L#vbench-evaluation)
- 训练 (https://huggingface.co/apple/FastFrames-L#training)
- 引用 (https://huggingface.co/apple/FastFrames-L#citation)
FastFrames 演示:有无 FastFrames 优化的 LingBot 相机控制对比 (https://huggingface.co/apple/FastFrames-L/blob/main/assets/fastframes_demo.mp4)
https://huggingface.co/apple/FastFrames-L#installation 安装
需要 Linux x86-64、一块 NVIDIA GPU 以及兼容 CUDA 12.8 的驱动。在仓库根目录下执行:
uv sync
按照 checkpoint 指南 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/installation.md#checkpoints) 下载 FastFrames 及第三方权重。
https://huggingface.co/apple/FastFrames-L#latency-profiling 延迟分析
uv run python evaluation/latency/benchmark.py ff-s
uv run python evaluation/latency/benchmark.py ff-l --gpus 8
以下是 FastFrames-S、单 GPU、480p 在 KV 缓存已完全填充时的各组件耗时示例。
| 组件 | 调用次数 | 单次延迟 | 总延迟 |
|---|---|---|---|
| DiT evaluation, t=1000 | 1 | 16.1 ms | 16.1 ms |
| DiT evaluation, t=833 | 1 | 16.2 ms | 16.2 ms |
| KV refinement | 1 | 2.2 ms | 2.2 ms |
| Pixel decoder | 1 | 0.9 ms | 0.9 ms |
| 合计 | 35.4 ms(论文:36 ms) |
详情及基线数据请参阅性能分析指南 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/inference.md#profiling)。
https://huggingface.co/apple/FastFrames-L#interactive-demo-with-lingbot 基于 LingBot 的交互式演示
先完成演示环境配置 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/lingbot.md#interactive-demo-13b),然后启动以下任一命令:
CUDA_VISIBLE_DEVICES=0 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 1
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 8
随后打开 http://localhost:8000。
https://huggingface.co/apple/FastFrames-L#t2v-generation T2V 生成
uv run python scripts/generate.py --model ff-s --checkpoint-dir checkpoints \
--prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4
输出 832 × 480 视频,81 帧、16 fps。使用 --model ff-l 可切换到 FastFrames-L。
生成项目主页上的视频(20+ 条):
uv run python scripts/generate_project_page.py --model ff-s --output-dir outputs/project_page/ff-s
uv run python scripts/generate_project_page.py --model ff-l --output-dir outputs/project_page/ff-l
详情请参阅生成指南 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/inference.md#generation)。
https://huggingface.co/apple/FastFrames-L#vbench-evaluation VBench 评估
按照评估指南 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/inference.md#evaluation) 复现表 1 中的 Quality / Semantic / Total 得分。
https://huggingface.co/apple/FastFrames-L#training 训练
https://huggingface.co/apple/FastFrames-L#causal-forcing—fastframes-s Causal Forcing++ → FastFrames-S
FastFrames-S 冻结两步逐帧的 Causal Forcing++ 生成器,仅训练其周围的网络。
https://huggingface.co/apple/FastFrames-L#wan21-14b—fastframes-l Wan2.1-14B → FastFrames-L
我们首先按照 Causal Forcing++ 的方法将 Wan2.1-14B 蒸馏为两步因果模型,随后像 FastFrames-S 一样训练其 pixel decoder 和 KV refinement 网络。我们发布了全部 checkpoint:1)在 Wan2.1-14B 生成的 latent 上训练的因果教师模型;2)一致性蒸馏模型;3)DMD 蒸馏模型;4)最终的生成器、pixel decoder 和 KV refinement 网络。
https://huggingface.co/apple/FastFrames-L#citation 引用
如果您觉得这项工作对您的研究有帮助,请引用:
@article{chou2026fastframes,
title = {FastFrames: Video Generation at Interactive Latency},
author = {Chou, Gene and Yang, Guandao and Luan, Fujun and Mescheder, Lars and
Dong, Wei and Richter, Stephan R. and Koltun, Vladlen},
journal = {arXiv preprint arXiv:2611.23226},
year = {2026}
}
https://huggingface.co/apple/FastFrames-L#license-and-acknowledgments 许可与致谢
LingBot-World v2 的代码和权重遵循其上游的 CC BY-NC-SA 4.0 许可证 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/LICENSE_LINGBOT)。FastFrames 的其余代码均依据 Apple Sample Code License (https://github.com/apple-aiml-research/ml-fastframes/blob/main/LICENSE) 授权。第三方代码另见致谢 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/ACKNOWLEDGEMENTS)。
我们感谢 Wan2.1 (https://github.com/Wan-Video/Wan2.1)、Self-Forcing (https://github.com/guandeh17/Self-Forcing) 和 Causal Forcing++ (https://github.com/thu-ml/Causal-Forcing) 的作者开源其代码,FastFrames 的代码与模型正是建立在此基础之上。
相似文章
FastFrames:交互式延迟下的视频生成
苹果研究人员推出了 FastFrames,这是一系列快速自回归视频扩散模型,通过用轻量级替代方案取代 VAE 解码和 KV 缓存更新等重量级流水线组件,实现了交互级延迟。其 13 亿参数版本的运行速度为每帧 36 毫秒,140 亿参数版本为每帧 45 毫秒,同时生成质量达到或超过了速度更慢的最先进模型。
LiteFrame: 高效视觉编码器解锁视频大语言模型的帧缩放
LiteFrame提出了一种轻量级视频编码器,采用压缩令牌蒸馏(Compressed Token Distillation)训练,可降低延迟,并使视频大语言模型能够处理8倍以上的帧数以实现长视频理解,在降低计算量的同时提高准确性。
LiteFrame 扩展视频大语言模型效率(6分钟阅读)
LiteFrame 为视频大语言模型引入了一种高效的视频编码器,采用压缩令牌蒸馏技术,在保持准确率的同时,能够处理多达8倍的帧数并降低35%的延迟,为长视频理解开创了新的帕累托前沿。
灵活视频扩散(3分钟阅读)
Flex-Forcing提出了一个统一的视频扩散框架,支持自回归和双向生成模式,为视频生成任务提供灵活的控制。
LiveEdit:迈向基于扩散模型的实时流式视频编辑
LiveEdit 提出了一种因果、逐帧的流式视频编辑框架,通过三阶段蒸馏流程和面向增强现实的掩码缓存实现了实时性能(12.66 FPS),从而能够进行稳定的长时编辑。