@__JohnNguyen__: 今天我们发布了 CVPR 2026 论文 Flowception 的代码。Flowception 在完全双向序列模型和自回归生成之间架起了桥梁……

X AI KOLs Following 论文

摘要

Meta 的 FAIR 团队发布了 Flowception 的代码,这是 CVPR 2026 的一篇论文,介绍了一种非自回归视频生成框架。该框架通过交错帧插入与连续去噪,减少了误差累积和计算成本。

今天我们发布了 CVPR 2026 论文 Flowception 的代码。Flowception 通过按学习到的顺序插入帧,然后使用连续流对其进行去噪,从而在完全双向序列建模和自回归生成之间架起了桥梁。网站:https://flowception-meta.github.io 代码:https://github.com/facebookresearch/flowception…
查看原文
查看缓存全文

缓存时间: 2026/05/09 16:15

今天,我们发布了 CVPR 2026 论文 Flowception 的代码。Flowception 通过按学习到的顺序插入帧,然后使用连续流对其进行去噪,从而架起了全双向序列建模与自回归生成之间的桥梁。网站:https://flowception-meta.github.io 代码:https://github.com/facebookresearch/flowception…


Flowception:用于视频生成的时序扩展流匹配

来源:https://flowception-meta.github.io/ 1FAIR at Meta, 2Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK

路线图

  • 2026年2月:使用 LTX-Video 2B 的文生视频快照
  • 2026年2月:开源教程笔记本
  • 2026年5月:开源代码库

Flowception 方法概述

图 1: Flowception 无缝集成了帧插入和去噪,与自回归方法相比,在减少误差累积的同时,实现了高效、高质量的视频生成。

摘要

我们提出了 Flowception,一种新颖的非自回归且可变长度的视频生成框架。Flowception 学习一条概率路径,将离散帧插入与连续帧去噪交错进行。与自回归方法相比,Flowception 减轻了误差累积/漂移,因为采样期间的帧插入机制作为一种高效的压缩机制来处理长期上下文。与全序列流相比,我们的方法将训练所需的 FLOPs 减少了三倍,同时更易于适应局部注意力变体,并允许联合学习视频长度及其内容。定量实验结果显示,与自回归和全序列基线相比,FVD 和 VBench 指标有所提高,定性结果进一步验证了这一点。最后,通过学习在序列中插入和去噪帧,Flowception 无缝集成了诸如图像到视频生成和视频插值等不同任务。

方法概述

起始帧

插入帧

已删除

流

终止态

图 2: Flowception 训练扩展时间调度器的示意图。在 Flowception 中,每帧都有其自己的去噪时间,这取决于其插入时间。全局扩展时间 \tau_g 从 0 进展到 2,其中新帧的插入仅发生在 \tau_g < 1 时。起始帧(蓝色)在 \tau_g = 0 时实例化,而其他帧(橙色)稍后插入,因此存在延迟。

Flowception 采样

图 3: Flowception 采样从少量帧开始。每一步交错进行速度更新(去噪)和预测帧插入。我们通过颜色的亮度来说明每帧的噪声水平。

与基线方法的比较

全序列流

Full Sequence Flows 自回归流

Autoregressive Flows Flowception

Flowception(我们)

能力

多模态统一

多模态能力

Flowception 通过引入上下文帧(即可见序列的一部分、干净的帧,它们可能引发插入)无缝统一了多种模态。通过提供一组上下文帧,模型能够学习需要插入多少新帧以生成连贯的视频。

可变长度生成

可变长度生成

Flowception 能够学习视频长度的有效分布。模型可以使用混合的短视频和长视频进行训练,并在采样期间泛化,使得视频长度由其内容决定。我们在一个玩具示例中验证了这一点,其中训练视频的长度仅为 15、20、25 或 30 帧,然后绘制真实值和生成视频长度的直方图。

示例

文生视频生成

我们将 LTX-Video 2B(0.9.5 蒸馏)(https://huggingface.co/Lightricks/LTX-Video) 的架构适配为与 Flowception 兼容,并在大约 500 万个通用领域文本-视频对的内部数据分割上进行训练。以下是示例生成结果。

“一艘船在海上巡航。背景中,夕阳将温暖的光芒洒在水面上。远处可以看到一个形似山脉的岛屿。”

“漂亮的农民。农业商业概念。农民女孩在日落时检查玫瑰作物。农民行走,农业生活方式,玫瑰概念。农民在日落时在有玫瑰的田地里工作。”

“一匹野马在湖边行走。美丽的场景。”

“一只穿着针织蓝色毛衣和圆眼镜的可爱熊躺在沙发上,读着报纸。背景中,塞满书籍的书架和噼啪作响的壁炉散发着温暖的光芒。”

“一只美洲豹在湖里吃巧克力蛋糕。”

“一辆黄色出租车在雨夜的纽约街道上行驶,霓虹灯在潮湿的沥青上反射,空气中弥漫着薄雾。”

插值与图像到视频

跨不同数据集的视频插值和图像到视频生成。

引用

@misc{ifriqi2025flowceptiontemporallyexpansiveflow, title={Flowception: Temporally Expansive Flow Matching for Video Generation}, author={Tariq Berrada Ifriqi and John Nguyen and Karteek Alahari and Jakob Verbeek and Ricky T. Q. Chen}, year={2025}, eprint={2512.11438}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2512.11438} }

致谢。 Karteek Alahari 部分得到了韩国政府(MSIT)资助的信息与通信技术规划与评估院(IITP) гранта 的支持(项目编号:RS-2024-00457882,国家 AI 研究实验室项目)。

相似文章

Multimodal Flow:语言与视觉在嵌入空间中的统一流建模

Hugging Face Daily Papers

Multimodal Flow 提出了一种用于语言和视觉的完全连续生成架构,采用基于连续嵌入超块(hyperchunk)的共享分块因果流骨干网络。MF-1 在 0.6B 至 1.6B 规模上进行预训练,仅使用 150B tokens,便在 GenEval、DPG-Bench、VQAv2、MMBench 和 POPE 上取得了具有竞争力的表现。