OPSD-V: 面向后训练少步自回归视频生成器的在线策略自蒸馏
摘要
OPSD-V 通过使用真实长视频数据作为训练时的时间上下文,提供密集的轨迹级监督,从而增强视觉质量和运动动态,同时不改变推理机制,改进了少步自回归视频扩散模型。
查看缓存全文
缓存时间: 2026/07/10 06:17
论文页面 - OPSD-V:面向后训练少步自回归视频生成器的在线策略自蒸馏
来源:https://huggingface.co/papers/2607.08766
摘要
OPSD-V 通过使用真实长视频数据作为训练期间的时序上下文,为少步自回归视频扩散模型提供密集轨迹级监督,从而提升视觉质量和运动动态,且无需改变推理机制。
我们提出 OPSD-V,一种面向后训练少步自回归(AR)视频扩散模型的在线策略自蒸馏(https://huggingface.co/papers?q=on-policy%20self-distillation)范式。现有少步 AR 视频生成器能够以低延迟生成长视频,但在长时间自回归滚动过程中仍会遭受误差累积(https://huggingface.co/papers?q=error%20accumulation)和运动动态(https://huggingface.co/papers?q=motion%20dynamics)减弱的问题。OPSD-V 在保留原始少步推理路径的同时,减少了长程退化。其关键思想是引入真实长视频数据作为训练期间的时序上下文(https://huggingface.co/papers?q=temporal%20context),并利用其提供密集轨迹级监督(https://huggingface.co/papers?q=dense%20trajectory-level%20supervision)。具体而言,学生模型遵循确切的推理时滚动过程,在每一步生成每个片段时以其自身先前生成的 KV 缓存为条件。与此同时,教师模型在学生模型访问的相同降噪状态(https://huggingface.co/papers?q=denoising%20states)下进行评估,但使用更干净的、与 AR 一致的时序缓存(https://huggingface.co/papers?q=AR-consistent%20temporal%20cache),其中旧历史可以被真实视频上下文替换。这在不改变采样器、降噪步数或推理时缓存机制的前提下,在在线策略的 AR 缓存动态下提供密集的降噪级修正目标。我们将 OPSD-V 应用于代表性的少步 AR 视频模型,包括 Self-Forcing 和 LongLive。实验表明,在视觉质量、运动动态(https://huggingface.co/papers?q=motion%20dynamics)和 VBenchLong(https://huggingface.co/papers?q=VBenchLong)分数方面均有持续改进。一项包含 10 名参与者、比较 20 对视频的用户研究(https://huggingface.co/papers?q=user%20study)显示,在总体偏好判断中,OPSD-V 在 66.0% 的情况下被优先选择(排除平局后为 82.5%)。
查看 arXiv 页面(https://arxiv.org/abs/2607.08766)
查看 PDF(https://arxiv.org/pdf/2607.08766)
项目页面(https://meigen-ai.github.io/OPSD-V/)
GitHub8(https://github.com/MeiGen-AI/OPSD-V)
添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2607.08766)
在您的智能体中获取此论文:
hf papers read 2607.08766
还没有最新 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型0
没有模型链接此论文
请在模型 README.md 中引用 arxiv.org/abs/2607.08766 以便从此页面链接。
引用此论文的数据集0
没有数据集链接此论文
请在数据集 README.md 中引用 arxiv.org/abs/2607.08766 以便从此页面链接。
引用此论文的 Space0
没有 Space 链接此论文
请在 Space README.md 中引用 arxiv.org/abs/2607.08766 以便从此页面链接。
包含此论文的收藏0
没有收藏包含此论文
请将此论文添加到一个收藏(https://huggingface.co/new-collection)中以便从此页面链接。
相似文章
D-OPSD:面向连续微调步骤蒸馏扩散模型的在线策略自蒸馏
本文介绍了 D-OPSD,一种用于步骤蒸馏扩散模型的新型训练范式,能够在监督微调过程中实现在线策略自蒸馏。该方法使模型能够在不损害其高效少步推理能力的前提下,学习新概念或新风格。
Dynamic-in-Few-Step: 统一动态计算与少步蒸馏的高效视频生成
本文提出了一种针对视频扩散模型的后训练加速框架,将动态结构稀疏化与少步蒸馏相结合,在保持生成质量的同时实现了显著加速。
AAD-1:一步自回归视频生成的非对称对抗性蒸馏
AAD-1 引入具有分阶段训练的非对称对抗性蒸馏,以实现一步自回归视频生成,在 VBench 上优于先前方法。
dOPSD:扩散语言模型中的在线策略自蒸馏方法
本文介绍了 dOPSD,一种面向扩散语言模型的在线策略自蒸馏方法,该方法利用内部去噪轨迹来提升数学推理和代码生成能力。
自回归视频生成的投机解码
SDVG 将投机解码引入自回归视频扩散,通过图像质量路由器在 MovieGenVideoBench 上实现最高 2.09× 加速,同时保留 95.7% 质量。