论文页面 - Self Gradient Forcing: 原生长视频外推

来源: https://huggingface.co/papers/2607.20368 作者:

,

,

,

,

,

,

,

,

,

,

,

摘要

近年来，自回归视频扩散方法越来越多地建立在SelfForcing之上，即学生模型使用自身展开生成的历史而非真实视频上下文进行训练。这减少了曝光偏差，但历史键值缓存仍仅作为冻结的展开状态供未来帧使用。因此，未来帧的损失无法监督早期生成的潜在变量应如何被写入对后续视频潜在变量生成更有用的键和值中。我们称此问题为历史上下文-梯度鸿沟。我们提出Self Gradient Forcing (SGF)，一种两阶段训练策略，在不通过完整串行展开进行反向传播的情况下恢复这一缺失的监督信号。第一阶段执行无梯度的自回归展开以匹配推理，并在采样的去噪退出步骤记录自生成上下文和输入模型的带噪潜在变量。第二阶段对记录的退出步骤执行并行上下文-梯度重建。生成的上下文用作停止梯度的清晰潜在变量输入，而模型重新计算上下文KV表示和未来到上下文的因果注意力。因此，SGF在原生自回归训练目标中提供了缺失的记忆写入监督，利用未来视频潜在变量的损失来训练模型将上下文编码为更有效的因果记忆。在不同初始化条件下进行的广泛长序列帧级和块级实验中，SGF实现了比SelfForcing更强的原生长视频外推能力，尤其在主体身份、背景/布局一致性和时间稳定性方面表现突出。值得注意的是，仅使用5秒的训练窗口，SGF即可外推至长达数分钟的视频。代码和模型将发布以推动自回归视频生成研究。

查看arXiv页面 (https://arxiv.org/abs/2607.20368) 查看PDF (https://arxiv.org/pdf/2607.20368) 项目页面 (https://zhuang2002.github.io/SelfGradientForcing/) GitHub73 (https://github.com/zhuang2002/Self_Gradient_Forcing) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.20368)

在你的代理中获取这篇论文：

hf papers read 2607\.20368

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型1

JunhaoZhuang/Self_Gradient_Forcing 更新于1天前 • 61 • 4 (https://huggingface.co/JunhaoZhuang/Self_Gradient_Forcing)

引用此论文的数据集0

没有链接此论文的数据集

在数据集的README.md中引用arxiv.org/abs/2607.20368以从本页链接。

引用此论文的Space0

没有链接此论文的Space

在Space的README.md中引用arxiv.org/abs/2607.20368以从本页链接。

包含此论文的合集1