视频生成模型:后训练与对齐方法综述
摘要
本文是首篇对视频生成模型后训练与对齐方法的全面综述,将现有方法归入隐式对齐与显式对齐两大类,涵盖监督微调、自训练/蒸馏、基于偏好与奖励的方法以及推理时方法,同时综述了相关数据集、基准测试与开放挑战。
查看缓存全文
缓存时间: 2026/10/02 20:31
论文页面 - 视频生成模型:后训练与对齐综述
来源:https://huggingface.co/papers/2610.00812 作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
视频生成已从短小、低质量的片段,迅速发展为具备复杂时空动态变化的高分辨率、长时序序列。尽管通过大规模预训练学到了强大的生成先验,预训练的视频模型往往仍无法可靠地遵循人类意图、维持时序连贯性,或满足物理与安全约束。与图像和文本生成相比,视频生成中的对齐面临着独特的挑战,包括随时间累积的误差、运动与外观的耦合、多目标之间的权衡,以及针对时序属性的监督信号有限。这些挑战促使我们采用系统的后训练策略,在不从头重新训练的前提下对预训练模型进行适配。在本综述中,我们首次全面回顾了视频生成模型中的后训练与对齐方法。我们将后训练构建为一个统一框架,并根据对齐信号的施加方式,区分隐式对齐与显式对齐。基于这一视角,我们将现有方法归纳为四个主要类别:监督微调方法、自训练与蒸馏方法、基于偏好与奖励的方法,以及推理时方法。这一分类体系提供了一个连贯的视角,用以理解对齐信号如何在训练与部署两个阶段塑造模型行为。除方法学进展外,我们还回顾了常用的数据集、基准与评估实践,并讨论了开放性挑战,如可扩展的奖励设计、长时序一致性、稳定性与表达能力之间的权衡,以及安全感知的生成。本综述旨在为推动可控、可靠的视频生成模型发展,提供结构化的概念基础与实践指导。
查看 arXiv 页面 (https://arxiv.org/abs/2610.00812) 查看 PDF (https://arxiv.org/pdf/2610.00812) GitHub189 (https://github.com/people-robots/Awesome-Video-Generation-Post-Training) 加入收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.00812)
在你的 agent 中获取本文:
hf papers read 2610\.00812
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用本文的模型 0
暂无关联本文的模型
在模型 README.md 中引用 arxiv.org/abs/2610.00812,即可将其关联到本页面\。
引用本文的数据集 0
暂无关联本文的数据集
在数据集 README.md 中引用 arxiv.org/abs/2610.00812,即可将其关联到本页面\。
引用本文的 Space 0
暂无关联本文的 Space
在 Space README.md 中引用 arxiv.org/abs/2610.00812,即可将其关联到本页面\。
包含本文的合集 0
暂无包含本文的合集
将本文添加到合集 (https://huggingface.co/new-collection)即可将其关联到本页面\。
相似文章
让视频模型学得更好、更快
本文探讨了生成式视频预训练中数据筛选技术的演进,重点介绍了利用计算机视觉、大语言模型和强化学习等方法,通过高质量数据提升模型性能。
视频生成模型是通用视觉学习者
本文提出,大规模文本到视频生成可作为计算机视觉的强大预训练范式,介绍了GenCeption,它在多种视觉任务上实现了最先进的性能,具有高数据效率和向未见领域的涌现泛化能力。
VideoGen-Agent:增强视频生成智能体
本文提出了VideoGen-Agent,一种基于强化学习的多模态智能体,它协调工具进行视频生成,在新的VABench基准测试上显著提升了性能。
Geo-Align: 基于度量几何奖励的视频生成对齐
Geo-Align 提出了一个用于相机可控视频重新渲染的强化学习框架,通过尺度感知的感知奖励和用于相机轨迹提取的度量三维估计来提高泛化能力。
视频生成模型作为世界模拟器
OpenAI的技术报告介绍了Sora视频生成模型,该模型通过视觉补丁统一多样化的视觉数据,支持大规模训练生成模型,能够生成长达一分钟的高清视频,支持可变的时长、宽高比和分辨率。