SGF+:解耦自回归视频生成中的梯度流
摘要
论文提出 Self Gradient Forcing Plus(SGF+),通过为上下文写入与去噪角色解耦参数并保留因果注意力交互,显著提升自回归视频生成的视觉质量与长时一致性,仅用5秒训练片段即可支持长达24小时的连续生成。
查看缓存全文
缓存时间: 2026/10/08 12:26
论文页面 - SGF+:为自回归视频生成解耦梯度流
来源:https://huggingface.co/papers/2610.10429 作者:
,
,
,
,
,
,
,
,
,
,
摘要
自回归视频生成需要在对当前帧进行去噪的同时,将其键值表示写入上下文以供未来预测使用。然而,这两个角色通常共享参数,我们发现它们的梯度表现出不同的模式和系统性的负对齐,从而阻碍了视觉质量和时间一致性之间的联合优化。我们提出了 Self Gradient Forcing Plus(SGF+),它为上下文写入和去噪分别分配独立的参数,同时通过因果注意力保持两者之间的交互作用。两个角色均使用原始生成目标进行联合优化,无需额外的辅助损失,其中上下文写入通过其对未来预测的贡献来接受监督。这一简单的改变在逐帧和分块生成两种模式下,均在不引入额外视频训练数据或延长训练时长的前提下,提升了视觉质量和长时程一致性。仅在5秒的滚动训练下,SGF+ 即可支持长达24小时的连续生成,无需针对长视频进行微调。这些结果表明,角色专用参数化是高质量自回归视频生成和原生长时程外推的一种有效设计原则。
查看 arXiv 页面 查看 PDF 项目页面 GitHub15 加入收藏
在你的智能体中获取这篇论文:
hf papers read 2610\.10429
没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型1
ZihanSu/Self_Gradient_Forcing_Plus 文生视频• 约10小时前更新 • 6
引用此论文的数据集0
没有数据集链接此论文
在数据集的 README.md 中引用 arxiv.org/abs/2610.10429 即可从此页面链接。
引用此论文的 Spaces2
收录此论文的集合0
没有收录此论文的集合
将此论文加入集合即可从此页面链接。
相似文章
自梯度强制:原生长视频外推
提出自梯度强制(SGF),一种用于自回归视频扩散模型的双通训练策略,为写入有用的上下文记忆提供缺失的监督,即使在短训练窗口下也能实现强大的长视频外推。
用于高效自回归视频生成的推测式强制
推测强制通过将中间的干净估计视为草稿并提前接受词元、跳过不必要的去噪步骤,加速少步自回归视频生成,在 LongLive 上以每词元约 1.7 步达到四步生成器的质量,速度提升超过 1.5 倍。
RepForcing:面向自回归视频蒸馏的表示空间初始化
论文提出 RepForcing,通过表示空间监督(而非中间教师的轨迹回归)来初始化少步自回归视频生成器,并结合非对称 DMD,在 4 步采样下 VBench 总分从 84.04 提升至 84.66,VisionReward 提升约 59%。
MV-Forcing:通过4D基底的时空自强迫实现长时间多视角视频生成
MV-Forcing 提出了一种扩散框架,结合时间自回归和视角自回归,生成动态场景的长时间多视角一致视频。通过使用4D几何桥梁和时空蒸馏,实现基于少步学生模型的任意长度视频生成。
ForcingBooster:用于快速自回归视频扩散的自适应分块去噪
ForcingBooster 提出一种自适应逐 patch 去噪框架,根据视频块难度动态分配去噪步数,在保持画质的同时将总去噪步数减少约 50%,加速自回归视频扩散模型的生成。