apple/FastFrames-L

Hugging Face Models Trending 模型

摘要

Apple 发布了 FastFrames-S(1.3B)和 FastFrames-L(14B),这是一类自回归两步视频扩散模型,能够以交互级延迟生成 480p 视频(FastFrames-S 每帧约 35ms),同时还带来了一个优化后的 LingBot 1.3B,运行速度提升 16 倍,并支持流畅的相机条件控制。

任务:文本生成视频 标签:safetensors、文本生成视频、arxiv:2611.23226、base_model:Wan-AI/Wan2.1-T2V-14B、base_model:finetune:Wan-AI/Wan2.1-T2V-14B、license:apple-amlr、region:us
查看原文
查看缓存全文

缓存时间: 2026/11/19 03:39

apple/FastFrames-L · Hugging Face

来源:https://huggingface.co/apple/FastFrames-L

https://huggingface.co/apple/FastFrames-L#fastframes-video-generation-at-interactive-latency FastFrames:以交互级延迟实现视频生成

项目主页 (https://apple-aiml-research.github.io/ml-fastframes/) · arXiv (https://arxiv.org/abs/2611.23226) · FastFrames-S (https://huggingface.co/apple/FastFrames-S) · FastFrames-L (https://huggingface.co/apple/FastFrames-L)

本仓库包含 FastFrames: Video Generation at Interactive Latency 的官方实现。我们发布了 FastFrames-S (https://huggingface.co/apple/FastFrames-S)(1.3B)和 FastFrames-L (https://huggingface.co/apple/FastFrames-L)(14B)。两者均为自回归的两步视频扩散模型,能够在交互级延迟下生成 480p 视频。我们还发布了一个优化版的 LingBot 1.3B,其速度比官方模型快 16 倍,并支持流畅的相机条件控制。

  • 延迟分析 (https://huggingface.co/apple/FastFrames-L#latency-profiling)
  • 基于 LingBot 的交互式演示 (https://huggingface.co/apple/FastFrames-L#interactive-demo-with-lingbot)
  • T2V 生成 (https://huggingface.co/apple/FastFrames-L#t2v-generation)
  • VBench 评估 (https://huggingface.co/apple/FastFrames-L#vbench-evaluation)
  • 训练 (https://huggingface.co/apple/FastFrames-L#training)
  • 引用 (https://huggingface.co/apple/FastFrames-L#citation)

FastFrames 演示:有无 FastFrames 优化的 LingBot 相机控制对比 (https://huggingface.co/apple/FastFrames-L/blob/main/assets/fastframes_demo.mp4)

https://huggingface.co/apple/FastFrames-L#installation 安装

需要 Linux x86-64、一块 NVIDIA GPU 以及兼容 CUDA 12.8 的驱动。在仓库根目录下执行:

uv sync

按照 checkpoint 指南 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/installation.md#checkpoints) 下载 FastFrames 及第三方权重。

https://huggingface.co/apple/FastFrames-L#latency-profiling 延迟分析

uv run python evaluation/latency/benchmark.py ff-s
uv run python evaluation/latency/benchmark.py ff-l --gpus 8

以下是 FastFrames-S、单 GPU、480p 在 KV 缓存已完全填充时的各组件耗时示例。

组件调用次数单次延迟总延迟
DiT evaluation, t=1000116.1 ms16.1 ms
DiT evaluation, t=833116.2 ms16.2 ms
KV refinement12.2 ms2.2 ms
Pixel decoder10.9 ms0.9 ms
合计35.4 ms(论文:36 ms)

详情及基线数据请参阅性能分析指南 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/inference.md#profiling)。

https://huggingface.co/apple/FastFrames-L#interactive-demo-with-lingbot 基于 LingBot 的交互式演示

先完成演示环境配置 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/lingbot.md#interactive-demo-13b),然后启动以下任一命令:

CUDA_VISIBLE_DEVICES=0 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 1
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 8

随后打开 http://localhost:8000。

https://huggingface.co/apple/FastFrames-L#t2v-generation T2V 生成

uv run python scripts/generate.py --model ff-s --checkpoint-dir checkpoints \
    --prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4

输出 832 × 480 视频,81 帧、16 fps。使用 --model ff-l 可切换到 FastFrames-L。

生成项目主页上的视频(20+ 条):

uv run python scripts/generate_project_page.py --model ff-s --output-dir outputs/project_page/ff-s
uv run python scripts/generate_project_page.py --model ff-l --output-dir outputs/project_page/ff-l

详情请参阅生成指南 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/inference.md#generation)。

https://huggingface.co/apple/FastFrames-L#vbench-evaluation VBench 评估

按照评估指南 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/docs/inference.md#evaluation) 复现表 1 中的 Quality / Semantic / Total 得分。

https://huggingface.co/apple/FastFrames-L#training 训练

https://huggingface.co/apple/FastFrames-L#causal-forcing—fastframes-s Causal Forcing++ → FastFrames-S

FastFrames-S 冻结两步逐帧的 Causal Forcing++ 生成器,仅训练其周围的网络。

https://huggingface.co/apple/FastFrames-L#wan21-14b—fastframes-l Wan2.1-14B → FastFrames-L

我们首先按照 Causal Forcing++ 的方法将 Wan2.1-14B 蒸馏为两步因果模型,随后像 FastFrames-S 一样训练其 pixel decoder 和 KV refinement 网络。我们发布了全部 checkpoint:1)在 Wan2.1-14B 生成的 latent 上训练的因果教师模型;2)一致性蒸馏模型;3)DMD 蒸馏模型;4)最终的生成器、pixel decoder 和 KV refinement 网络。

https://huggingface.co/apple/FastFrames-L#citation 引用

如果您觉得这项工作对您的研究有帮助,请引用:

@article{chou2026fastframes,
  title   = {FastFrames: Video Generation at Interactive Latency},
  author  = {Chou, Gene and Yang, Guandao and Luan, Fujun and Mescheder, Lars and
             Dong, Wei and Richter, Stephan R. and Koltun, Vladlen},
  journal = {arXiv preprint arXiv:2611.23226},
  year    = {2026}
}

https://huggingface.co/apple/FastFrames-L#license-and-acknowledgments 许可与致谢

LingBot-World v2 的代码和权重遵循其上游的 CC BY-NC-SA 4.0 许可证 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/LICENSE_LINGBOT)。FastFrames 的其余代码均依据 Apple Sample Code License (https://github.com/apple-aiml-research/ml-fastframes/blob/main/LICENSE) 授权。第三方代码另见致谢 (https://github.com/apple-aiml-research/ml-fastframes/blob/main/ACKNOWLEDGEMENTS)。

我们感谢 Wan2.1 (https://github.com/Wan-Video/Wan2.1)、Self-Forcing (https://github.com/guandeh17/Self-Forcing) 和 Causal Forcing++ (https://github.com/thu-ml/Causal-Forcing) 的作者开源其代码,FastFrames 的代码与模型正是建立在此基础之上。

相似文章

FastFrames:交互式延迟下的视频生成

Papers with Code Trending

苹果研究人员推出了 FastFrames,这是一系列快速自回归视频扩散模型,通过用轻量级替代方案取代 VAE 解码和 KV 缓存更新等重量级流水线组件,实现了交互级延迟。其 13 亿参数版本的运行速度为每帧 36 毫秒,140 亿参数版本为每帧 45 毫秒,同时生成质量达到或超过了速度更慢的最先进模型。

LiteFrame: 高效视觉编码器解锁视频大语言模型的帧缩放

Hugging Face Daily Papers

LiteFrame提出了一种轻量级视频编码器,采用压缩令牌蒸馏(Compressed Token Distillation)训练,可降低延迟,并使视频大语言模型能够处理8倍以上的帧数以实现长视频理解,在降低计算量的同时提高准确性。

LiteFrame 扩展视频大语言模型效率(6分钟阅读)

TLDR AI

LiteFrame 为视频大语言模型引入了一种高效的视频编码器,采用压缩令牌蒸馏技术,在保持准确率的同时,能够处理多达8倍的帧数并降低35%的延迟,为长视频理解开创了新的帕累托前沿。

灵活视频扩散(3分钟阅读)

TLDR AI

Flex-Forcing提出了一个统一的视频扩散框架,支持自回归和双向生成模式,为视频生成任务提供灵活的控制。