灵活视频扩散(3分钟阅读)
摘要
Flex-Forcing提出了一个统一的视频扩散框架,支持自回归和双向生成模式,为视频生成任务提供灵活的控制。
Flex-Forcing通过灵活的时间与去噪步长分块,训练视频扩散模型在双向生成和自回归生成之间切换。该方法在不同计算预算下提升了推理速度、视频质量和长期稳定性。
查看缓存全文
缓存时间: 2026/07/10 19:36
# Flex-Forcing: 统一自回归与双向视频扩散模型
来源:https://research.nvidia.com/labs/genair/flex-forcing/
ICML 2026 · 亮点
一个模型,两种生成模式
Xinyin Ma<sup>1,2</sup> Julius Berner<sup>2</sup> Chao Liu<sup>2</sup> Arash Vahdat<sup>2</sup> Weili Nie<sup>2,†</sup> Xinchao Wang<sup>1,†</sup>
<sup>1</sup>新加坡国立大学(NUS) <sup>2</sup>英伟达(NVIDIA)
<sup>†</sup>共同指导
一只浣熊戴着经典侦探帽,手持放大镜和笔记本,正仔细检查一个小而神秘的物体,它表情好奇,富有表现力的棕色皮毛和大圆眼睛,用两条腿站立,身体略微倾斜,专注地看着前方。背景是一间杂乱的侦探办公室,散落着旧书、地图和各种工具,营造出舒适、复古的氛围。房间光线昏暗,附近一盏灯发出柔和的光。中景镜头捕捉这只浣熊的动作。
一个男人在暴风雨海上航行时的戏剧性特写镜头,捕捉他强烈的恐惧和绝望。他的脸被船灯的闪烁光线照亮,阴影凸显了他担忧的表情。头顶乌云密布,海浪拍打着船,增加了混乱的环境。他的眼睛因恐慌而睁大,嘴唇紧紧抿在一起。凌乱的头发和略微湿透的衣服增添了紧迫感。背景是模糊的运动,船甲板和汹涌的大海在视野边缘可见。照片具有粗糙、真实的质感,强调了此刻原始的情感和挣扎。动态特写,角度略微倾斜。
一只乌龟穿着流线型赛车服,踩着色彩鲜艳的滑板冲下一个陡峭的山坡,这是动态的动作镜头。乌龟表情坚定,小短腿用力蹬地,以速度和敏捷性滑行。滑板轮子快速旋转,在背景中留下轻微模糊。山坡上长满了高高的草和野花,天空是明亮的蓝色,飘着蓬松的云朵。场景捕捉了乌龟下坡时的动量和兴奋,摄像机角度略微倾斜以增强速度和运动感。
以自然纪录片的风格创作的一幅生动而动态的插画,描绘了一只龙-犀鸟优雅地走过塞伦盖蒂广阔的草原。龙-犀鸟有着彩虹色的绿色和蓝色羽毛,长而弯曲的喙和富有表现力的大眼睛。它自信地大步走过稀树草原,翅膀微微张开以保持平衡。背景展示了丰富的非洲野生动物,远处有斑马、瞪羚和大象。夕阳西下,给大地洒下温暖的金色光芒。摄像机角度来自低处的平视视角,捕捉龙-犀鸟穿过草丛时的动态动作。
以经典好莱坞电影风格的动态跟踪镜头,捕捉一辆蒸汽机车在雪景中轰隆隆前行。火车带着紧迫感向前行驶,摄像机紧随其后,突出旅程的速度和力量。雪花在火车周围旋转,营造出运动和寒冷的感觉。景色迅速变化,露出茂密的森林、蜿蜒的轨道和远处覆盖着积雪的山脉。背景是模糊的雪树和远处的山丘,阳光透过云层照射出斑驳的光。机车的烟囱喷出滚滚蒸汽,增加了戏剧效果。广角镜头捕捉到广阔的视野,强调了雪原的辽阔。
手持镜头跟随一个年幼的孩子在高高的草丛中奔跑,捕捉他们动作的自发性和顽皮。孩子有着卷曲的棕色头发和淘气的笑容,手臂自由摆动,在绿色的大地上奔跑。他们的小脚踢起一些草和泥土,在身后留下一道轨迹。背景是模糊的风景,有起伏的山丘和散落的野花,沐浴在温暖的阳光下。照片具有自然的纪录片风格,强调了动态运动与此刻的快乐。动态手持镜头,角度略微抬高,跟随孩子充满活力的奔跑。
特写镜头聚焦在一个有雀斑的年轻女子的脸上,她表情专注,认真寻找某物。雀斑散布在她的脸颊和鼻子上,为她的脸增添了俏皮的魅力。她的眼睛睁大且略微眯起,仔细审视她寻找的东西。她的头发松散,温柔地勾勒出她的脸庞,几缕垂在额头上。背景模糊,但能辨认出她正在寻找的桌子或办公桌的微弱轮廓。她的皮肤质感光滑细腻,带有淡淡的红润。近距离特写镜头,捕捉年轻女子自然专注的表情。
真实风格的特写镜头:一名男子戴着带有深色玻璃的古董潜水头盔和喷气背包,站在熔岩表面上。他自信地大步前行,身体微微前倾,表情坚定。在他身后,一条威严的龙在天空中翱翔,翅膀张开,鳞片在闪烁的光线中闪耀。背景是戏剧性的景观,有冒着烟的火山峰和旋转的云层,营造出一种异界危险与冒险的感觉。男子肌肉紧绷,手臂张开,行走时增加了场景的动态感。中景镜头,略微向上倾斜,同时强调男子和飞行的龙。
采用Octane引擎风格制作的微型3D渲染图,描绘了可爱的羊毛和毛毡怪物在梦幻般的散景环境中一起跳舞。这些柔软、可爱的生物,有着大大的富有表现力的眼睛和毛茸茸的身体,被柔和、漫射的光线照亮,散发出温暖、空灵的光芒。背景是柔和、朦胧的散景效果,为场景增添了电影质感。怪物从不同角度出现,捕捉它们顽皮的动作和表情,营造出迷人而迷人的氛围。中景镜头,动态摄像机角度,突出这些毛绒怪物自然而欢快的舞蹈。
全景视野向右扫过一片在风中轻轻摇曳的高草田野,背景的落日投下温暖的金色光芒。草叶捕捉到最后一缕阳光,产生闪烁效果。地平线模糊,突出了充满活力的草地与柔和、逐渐暗淡的天空之间的对比。低角度镜头捕捉草的动态运动和暮色的宁静之美。
缓慢的电影式推进镜头对准一只站在20世纪80年代厨房里的鸵鸟,镜头逐渐拉近,展现这只鸟好奇的表情。厨房装饰着复古电器和福米卡塑料贴面台面,色调柔和,以淡绿色和黄色为主。鸵鸟有着特有的长脖子和羽毛,自信地站着,一只脚微微抬起。它的大棕色眼睛好奇地注视着观众,仿佛在思索这奇怪的环境。背景是模糊的细节:散落在地上的旧报纸和褪色的花卉壁纸。光线温暖柔和,投下柔和的阴影。略微低角度特写镜头。
以高能量动作镜头风格的动态单板滑雪场景,一名年轻滑雪者加速冲下粉雪坡道。滑雪者表情坚定,熟练地在高大的松树之间穿梭,树干部分被旋转的雪花掩盖。雪是纯洁蓬松的,阳光投下柔和的阴影,突出滑雪者的动作。背景展示了令人叹为观止的山景,山峰笼罩在薄雾中,远处可以看到几个滑雪缆车。摄像机角度从稍微偏后的动作视角捕捉滑雪者,强调他们的速度和敏捷性。
一只浣熊戴着经典侦探帽,手持放大镜和笔记本,正仔细检查一个小而神秘的物体,它表情好奇,富有表现力的棕色皮毛和大圆眼睛,用两条腿站立,身体略微倾斜,专注地看着前方。背景是一间杂乱的侦探办公室,散落着旧书、地图和各种工具,营造出舒适、复古的氛围。房间光线昏暗,附近一盏灯发出柔和的光。中景镜头捕捉这只浣熊的动作。
一个男人在暴风雨海上航行时的戏剧性特写镜头,捕捉他强烈的恐惧和绝望。他的脸被船灯的闪烁光线照亮,阴影凸显了他担忧的表情。头顶乌云密布,海浪拍打着船,增加了混乱的环境。他的眼睛因恐慌而睁大,嘴唇紧紧抿在一起。凌乱的头发和略微湿透的衣服增添了紧迫感。背景是模糊的运动,船甲板和汹涌的大海在视野边缘可见。照片具有粗糙、真实的质感,强调了此刻原始的情感和挣扎。动态特写,角度略微倾斜。
一只乌龟穿着流线型赛车服,踩着色彩鲜艳的滑板冲下一个陡峭的山坡,这是动态的动作镜头。乌龟表情坚定,小短腿用力蹬地,以速度和敏捷性滑行。滑板轮子快速旋转,在背景中留下轻微模糊。山坡上长满了高高的草和野花,天空是明亮的蓝色,飘着蓬松的云朵。场景捕捉了乌龟下坡时的动量和兴奋,摄像机角度略微倾斜以增强速度和运动感。
以自然纪录片的风格创作的一幅生动而动态的插画,描绘了一只龙-犀鸟优雅地走过塞伦盖蒂广阔的草原。龙-犀鸟有着彩虹色的绿色和蓝色羽毛,长而弯曲的喙和富有表现力的大眼睛。它自信地大步走过稀树草原,翅膀微微张开以保持平衡。背景展示了丰富的非洲野生动物,远处有斑马、瞪羚和大象。夕阳西下,给大地洒下温暖的金色光芒。摄像机角度来自低处的平视视角,捕捉龙-犀鸟穿过草丛时的动态动作。
以经典好莱坞电影风格的动态跟踪镜头,捕捉一辆蒸汽机车在雪景中轰隆隆前行。火车带着紧迫感向前行驶,摄像机紧随其后,突出旅程的速度和力量。雪花在火车周围旋转,营造出运动和寒冷的感觉。景色迅速变化,露出茂密的森林、蜿蜒的轨道和远处覆盖着积雪的山脉。背景是模糊的雪树和远处的山丘,阳光透过云层照射出斑驳的光。机车的烟囱喷出滚滚蒸汽,增加了戏剧效果。广角镜头捕捉到广阔的视野,强调了雪原的辽阔。
手持镜头跟随一个年幼的孩子在高高的草丛中奔跑,捕捉他们动作的自发性和顽皮。孩子有着卷曲的棕色头发和淘气的笑容,手臂自由摆动,在绿色的大地上奔跑。他们的小脚踢起一些草和泥土,在身后留下一道轨迹。背景是模糊的风景,有起伏的山丘和散落的野花,沐浴在温暖的阳光下。照片具有自然的纪录片风格,强调了动态运动与此刻的快乐。动态手持镜头,角度略微抬高,跟随孩子充满活力的奔跑。
特写镜头聚焦在一个有雀斑的年轻女子的脸上,她表情专注,认真寻找某物。雀斑散布在她的脸颊和鼻子上,为她的脸增添了俏皮的魅力。她的眼睛睁大且略微眯起,仔细审视她寻找的东西。她的头发松散,温柔地勾勒出她的脸庞,几缕垂在额头上。背景模糊,但能辨认出她正在寻找的桌子或办公桌的微弱轮廓。她的皮肤质感光滑细腻,带有淡淡的红润。近距离特写镜头,捕捉年轻女子自然专注的表情。
真实风格的特写镜头:一名男子戴着带有深色玻璃的古董潜水头盔和喷气背包,站在熔岩表面上。他自信地大步前行,身体微微前倾,表情坚定。在他身后,一条威严的龙在天空中翱翔,翅膀张开,鳞片在闪烁的光线中闪耀。背景是戏剧性的景观,有冒着烟的火山峰和旋转的云层,营造出一种异界危险与冒险的感觉。男子肌肉紧绷,手臂张开,行走时增加了场景的动态感。中景镜头,略微向上倾斜,同时强调男子和飞行的龙。
采用Octane引擎风格制作的微型3D渲染图,描绘了可爱的羊毛和毛毡怪物在梦幻般的散景环境中一起跳舞。这些柔软、可爱的生物,有着大大的富有表现力的眼睛和毛茸茸的身体,被柔和、漫射的光线照亮,散发出温暖、空灵的光芒。背景是柔和、朦胧的散景效果,为场景增添了电影质感。怪物从不同角度出现,捕捉它们顽皮的动作和表情,营造出迷人而迷人的氛围。中景镜头,动态摄像机角度,突出这些毛绒怪物自然而欢快的舞蹈。
全景视野向右扫过一片在风中轻轻摇曳的高草田野,背景的落日投下温暖的金色光芒。草叶捕捉到最后一缕阳光,产生闪烁效果。地平线模糊,突出了充满活力的草地与柔和、逐渐暗淡的天空之间的对比。低角度镜头捕捉草的动态运动和暮色的宁静之美。
缓慢的电影式推进镜头对准一只站在20世纪80年代厨房里的鸵鸟,镜头逐渐拉近,展现这只鸟好奇的表情。厨房装饰着复古电器和福米卡塑料贴面台面,色调柔和,以淡绿色和黄色为主。鸵鸟有着特有的长脖子和羽毛,自信地站着,一只脚微微抬起。它的大棕色眼睛好奇地注视着观众,仿佛在思索这奇怪的环境。背景是模糊的细节:散落在地上的旧报纸和褪色的花卉壁纸。光线温暖柔和,投下柔和的阴影。略微低角度特写镜头。
以高能量动作镜头风格的动态单板滑雪场景,一名年轻滑雪者加速冲下粉雪坡道。滑雪者表情坚定,熟练地在高大的松树之间穿梭,树干部分被旋转的雪花掩盖。雪是纯洁蓬松的,阳光投下柔和的阴影,突出滑雪者的动作。背景展示了令人叹为观止的山景,山峰笼罩在薄雾中,远处可以看到几个滑雪缆车。摄像机角度从稍微偏后的动作视角捕捉滑雪者
相似文章
Flex-Forcing:迈向统一的自回归与双向视频扩散模型
介绍 Flex-Forcing,一个统一的训练和推理框架,通过灵活的时间与去噪步骤分块机制,使视频扩散模型能在双向和自回归两种模式下运行,实现更好的视频质量、长视频稳定性和更快的推理速度。
MV-Forcing:通过4D基底的时空自强迫实现长时间多视角视频生成
MV-Forcing 提出了一种扩散框架,结合时间自回归和视角自回归,生成动态场景的长时间多视角一致视频。通过使用4D几何桥梁和时空蒸馏,实现基于少步学生模型的任意长度视频生成。
Causal Forcing++:可扩展的少步自回归扩散蒸馏,用于实时交互式视频生成
Causal Forcing++提出了一种新颖的因果一致性蒸馏方法,用于逐帧自回归视频生成,在降低延迟和训练成本的同时实现了最先进的质量。
长视频生成(阅读时间 4 分钟)
本文介绍了 A²RD,这是一种利用智能体自回归扩散生成一致性长视频的新型架构。该架构提出了检索-合成-优化-更新(Retrieve–Synthesize–Refine–Update)循环机制,并推出了一个新的基准测试 LVBench-C,以解决长时视频合成中的语义漂移问题。
FadeMem: 距离感知的记忆整合用于自回归视频扩散
FadeMem 引入了一种距离感知的键值记忆整合机制,将历史视频数据组织成时间层次结构,在固定缓存约束下改进长视频生成。