展望未来:自回归视频生成中的未来演化建模

Hugging Face Daily Papers 论文

摘要

本文提出了未来片段预测(Future Chunk Prediction,FCP),这是一种用于自回归视频扩散模型的辅助目标,可在不提供中间视觉上下文的情况下预测时间上相隔的片段,从而提升物理合理性并减少训练计算量。该方法无需额外的预训练视觉编码器,并启示了更具结构化的表示空间对自回归世界模型的潜在价值。

自回归视频扩散模型逐块生成视频,但生成合理的后续内容并不保证它们能够捕捉场景的演变过程。在教师强制训练下,较强的时间冗余可能使局部视觉连续性成为当前块去噪的捷径,从而减弱模型学习视觉演变的动力。我们提出未来块预测(Future Chunk Prediction,FCP),这是一种与教师强制去噪联合优化的辅助目标,旨在无法访问中间视觉上下文的情况下预测时间上相隔的块。FCP 直接从训练视频中获取监督信号,无需额外的预训练视觉编码器,也不改变自回归推理过程。与标准的教师强制自回归训练相比,我们的方法以更低的总体训练计算预算实现了更高的物理合理性,凸显了未来块监督在建模视觉演变方面的有效性与高效性。有趣的是,我们的可视化结果表明,FCP 有助于形成更具结构性的表征空间,这可能对构建自回归世界模型具有价值。
查看原文
查看缓存全文

缓存时间: 2026/10/22 15:44

论文页面 - 展望未来:在自回归视频生成中建模未来演变

来源:https://huggingface.co/papers/2610.29989

摘要

未来片段预测通过施加未来片段监督来改进自回归视频扩散,在降低训练成本的同时,生成更符合物理规律的视频\。

自回归视频扩散 (https://huggingface.co/papers?q=Autoregressive%20video%20diffusion)模型逐片段生成视频,但生成合理的后续内容并不保证它们能够捕捉场景的演变方式\。在教师强制 (https://huggingface.co/papers?q=teacher%20forcing)训练下,较强的时间冗余 (https://huggingface.co/papers?q=temporal%20redundancy)可能使局部视觉连续性成为当前片段去噪的捷径,从而降低对视觉演变 (https://huggingface.co/papers?q=visual%20evolution)进行建模的压力\。我们提出未来片段预测 (https://huggingface.co/papers?q=Future%20Chunk%20Prediction)(FCP),这是一项与教师强制去噪联合优化的辅助目标,旨在不访问中间视觉上下文的情况下,预测在时间上相隔的片段\。FCP 直接从训练视频中获取监督信号,无需额外的预训练视觉编码器,且不改变自回归推理过程\。与标准的教师强制自回归训练相比,我们的方法以更低的总体训练计算预算实现了更优的物理合理性,凸显了未来片段监督在建模视觉演变 (https://huggingface.co/papers?q=visual%20evolution)方面的有效性与效率\。有趣的是,我们的可视化结果表明,FCP 有助于形成结构更清晰的表征空间,这可能对构建自回归世界模型 (https://huggingface.co/papers?q=world%20models)具有价值\。

查看 arXiv 页面 (https://arxiv.org/abs/2610.29989)查看 PDF (https://arxiv.org/pdf/2610.29989)项目页面 (https://hellorpg.github.io/looking-ahead/)GitHub52 (https://github.com/TencentARC/Looking-Ahead)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.29989)

在你的智能体中获取这篇论文:

hf papers read 2610\.29989

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有关联此论文的模型

在模型的 README.md 中引用 arxiv.org/abs/2610.29989,即可从此页面链接到该模型\。

引用此论文的数据集0

没有关联此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2610.29989,即可从此页面链接到该数据集\。

引用此论文的 Spaces0

没有关联此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2610.29989,即可从此页面链接到该 Space\。

包含此论文的合集1

相似文章

Flex-Forcing:迈向统一的自回归与双向视频扩散模型

Hugging Face Daily Papers

介绍 Flex-Forcing,一个统一的训练和推理框架,通过灵活的时间与去噪步骤分块机制,使视频扩散模型能在双向和自回归两种模式下运行,实现更好的视频质量、长视频稳定性和更快的推理速度。

ProAR:借助自回归视频模型学习前瞻性推理

Hugging Face Daily Papers

ProAR 通过非对称注意力掩码将生成锚定在预测的目标帧上,并引入未来表征自对齐,从而将自回归视频生成转变为面向目标的推理过程,在仅使用标准 AR 基线 25% 训练步数的情况下,在基准测试上取得了显著提升。