面向长时程自回归视频生成的Rollout-Marginal蒸馏
摘要
本文提出了Rollout-Marginal蒸馏（RMD），用于自回归视频扩散模型。其中每个生成的视频块都独立地与块级教师模型进行打分，以避免因不完美的时序上下文而产生的误差累积，随后再通过视频级DMD恢复整体连贯性。据报道，RMD能在远超训练时程的范围内保持高质量视觉效果，并优于视频级DMD基线方法。
查看缓存全文
缓存时间: 2026/10/05 12:47
论文页面 - 用于长时程自回归视频生成的 Rollout-Marginal Distillation
来源：https://huggingface.co/papers/2609.37925 发布于 9月29日
·
由https://huggingface.co/cjeen提交
cjeen (https://huggingface.co/cjeen)，发布于 10月5日
摘要
自回归（AR）视频扩散模型能够实现低延迟、可流式传输的视频生成，但预测误差在长时间滚动生成（rollout）过程中往往会不断累积。在生成器自身生成的 rollout 上进行训练，会使模型接触到这些不完美的历史序列。然而，现有的视频级分布匹配蒸馏（DMD）方法会将整个 rollout 作为一个整体进行打分。由于某个片段是与其历史和未来内容一起被评估的，其修正信号可能仅仅为了维持时间上的一致性，而去匹配周围上下文中的伪影。为了提供更清晰的视觉质量信号，我们提出了 Rollout-Marginal Distillation（RMD）。RMD 在自回归预测时保留已生成的历史内容，但将每个片段独立地与一个片段教师模型进行打分，从而确保其质量修正不会受到不完美时间上下文的干扰。为补偿独立片段打分所缺失的时间上下文，RMD 随后会应用视频级 DMD 来恢复时间连贯性。大量实验表明，RMD 在远超其训练时程的情况下仍能保持较高的视觉质量，并且优于视频级 DMD 基线方法。代码和视频结果见 https://cjeen.github.io/RMD
查看 arXiv 页面 (https://arxiv.org/abs/2609.37925) · 查看 PDF (https://arxiv.org/pdf/2609.37925) · 项目主页 (https://cjeen.github.io/RMD/) · GitHub (https://github.com/cjeen/RMD) · 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.37925)
引用此论文的模型 0
暂无模型链接到此论文
在模型 README.md 中引用 arxiv.org/abs/2609.37925，即可在此页面建立链接。
引用此论文的数据集 0
暂无数据集链接到此论文
在数据集 README.md 中引用 arxiv.org/abs/2609.37925，即可在此页面建立链接。
引用此论文的 Spaces 0
暂无 Space 链接到此论文
在 Space README.md 中引用 arxiv.org/abs/2609.37925，即可在此页面建立链接。
包含此论文的合集 0
暂无合集包含此论文
将此论文添加到合集 (https://huggingface.co/new-collection)，即可在此页面建立链接。
相似文章
A^2RD：用于长视频一致性的代理式自回归扩散
A^2RD 是一篇新论文，介绍了一种用于长视频合成的代理式自回归扩散架构，通过闭环自改进流程实现了更好的一致性和叙事连贯性。
AAD-1：一步自回归视频生成的非对称对抗性蒸馏
AAD-1 引入具有分阶段训练的非对称对抗性蒸馏，以实现一步自回归视频生成，在 VBench 上优于先前方法。
Causal-rCM: 用于流式视频生成和交互世界模型的自回归扩散蒸馏的统一教师强制与自强制开放方案
本文介绍了Causal-rCM，这是一个统一的教师强制与自强制框架，用于流式视频生成和交互世界模型中的自回归扩散蒸馏，以快速收敛实现了最先进的性能。
OPSD-V: 面向后训练少步自回归视频生成器的在线策略自蒸馏
OPSD-V 通过使用真实长视频数据作为训练时的时间上下文，提供密集的轨迹级监督，从而增强视觉质量和运动动态，同时不改变推理机制，改进了少步自回归视频扩散模型。
长视频生成（阅读时间 4 分钟）
本文介绍了 A²RD，这是一种利用智能体自回归扩散生成一致性长视频的新型架构。该架构提出了检索-合成-优化-更新（Retrieve–Synthesize–Refine–Update）循环机制，并推出了一个新的基准测试 LVBench-C，以解决长时视频合成中的语义漂移问题。