展望未来:自回归视频生成中的未来演化建模
摘要
本文提出了未来片段预测(Future Chunk Prediction,FCP),这是一种用于自回归视频扩散模型的辅助目标,可在不提供中间视觉上下文的情况下预测时间上相隔的片段,从而提升物理合理性并减少训练计算量。该方法无需额外的预训练视觉编码器,并启示了更具结构化的表示空间对自回归世界模型的潜在价值。
查看缓存全文
缓存时间: 2026/10/22 15:44
论文页面 - 展望未来:在自回归视频生成中建模未来演变
来源:https://huggingface.co/papers/2610.29989
摘要
未来片段预测通过施加未来片段监督来改进自回归视频扩散,在降低训练成本的同时,生成更符合物理规律的视频\。
自回归视频扩散 (https://huggingface.co/papers?q=Autoregressive%20video%20diffusion)模型逐片段生成视频,但生成合理的后续内容并不保证它们能够捕捉场景的演变方式\。在教师强制 (https://huggingface.co/papers?q=teacher%20forcing)训练下,较强的时间冗余 (https://huggingface.co/papers?q=temporal%20redundancy)可能使局部视觉连续性成为当前片段去噪的捷径,从而降低对视觉演变 (https://huggingface.co/papers?q=visual%20evolution)进行建模的压力\。我们提出未来片段预测 (https://huggingface.co/papers?q=Future%20Chunk%20Prediction)(FCP),这是一项与教师强制去噪联合优化的辅助目标,旨在不访问中间视觉上下文的情况下,预测在时间上相隔的片段\。FCP 直接从训练视频中获取监督信号,无需额外的预训练视觉编码器,且不改变自回归推理过程\。与标准的教师强制自回归训练相比,我们的方法以更低的总体训练计算预算实现了更优的物理合理性,凸显了未来片段监督在建模视觉演变 (https://huggingface.co/papers?q=visual%20evolution)方面的有效性与效率\。有趣的是,我们的可视化结果表明,FCP 有助于形成结构更清晰的表征空间,这可能对构建自回归世界模型 (https://huggingface.co/papers?q=world%20models)具有价值\。
查看 arXiv 页面 (https://arxiv.org/abs/2610.29989)查看 PDF (https://arxiv.org/pdf/2610.29989)项目页面 (https://hellorpg.github.io/looking-ahead/)GitHub52 (https://github.com/TencentARC/Looking-Ahead)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.29989)
在你的智能体中获取这篇论文:
hf papers read 2610\.29989
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有关联此论文的模型
在模型的 README.md 中引用 arxiv.org/abs/2610.29989,即可从此页面链接到该模型\。
引用此论文的数据集0
没有关联此论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2610.29989,即可从此页面链接到该数据集\。
引用此论文的 Spaces0
没有关联此论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2610.29989,即可从此页面链接到该 Space\。
包含此论文的合集1
相似文章
Next Forcing:基于多块预测的因果世界建模
Next Forcing 提出了一种用于因果世界建模的多块预测框架,可加速自回归视频生成的训练和推理,同时提高准确性和对物理规律的遵循程度。
过去框架未来:自回归视频生成的记忆
本文全面回顾了自回归视频生成中的记忆机制,解决了在扩展序列中维护历史信息以确保时间持续性的挑战。
Flex-Forcing:迈向统一的自回归与双向视频扩散模型
介绍 Flex-Forcing,一个统一的训练和推理框架,通过灵活的时间与去噪步骤分块机制,使视频扩散模型能在双向和自回归两种模式下运行,实现更好的视频质量、长视频稳定性和更快的推理速度。
ProAR:借助自回归视频模型学习前瞻性推理
ProAR 通过非对称注意力掩码将生成锚定在预测的目标帧上,并引入未来表征自对齐,从而将自回归视频生成转变为面向目标的推理过程,在仅使用标准 AR 基线 25% 训练步数的情况下,在基准测试上取得了显著提升。
FrameMorrow:面向长时序视频生成的前瞻式未来引导帧选择方法
FrameMorrow 提出一种面向长时序视频生成的前瞻式帧选择方法,通过预测代表未来信息需求的紧凑 prospective tokens 来从历史中挑选相关帧,实现跨生成器的即插即用集成,并在五个基准、11 个生成模型上取得一致提升。