视频生成模型:后训练与对齐方法综述

Hugging Face Daily Papers 论文

摘要

本文是首篇对视频生成模型后训练与对齐方法的全面综述,将现有方法归入隐式对齐与显式对齐两大类,涵盖监督微调、自训练/蒸馏、基于偏好与奖励的方法以及推理时方法,同时综述了相关数据集、基准测试与开放挑战。

视频生成技术已从短时、低质量片段迅速发展为具有复杂时空动态的高分辨率、长时长序列。尽管通过大规模预训练学到了强大的生成先验,预训练的视频模型往往难以可靠地遵循人类意图、保持时间一致性,或满足物理与安全约束。与图像和文本生成相比,视频生成的对齐面临独特挑战,包括误差随时间的累积、运动与外观的耦合、多目标之间的权衡,以及针对时间特性的监督信号有限。这些挑战促使研究者采用系统性的后训练策略,在不从零重新训练的前提下适配预训练模型。在本综述中,我们对视频生成模型的后训练与对齐方法进行了首次全面回顾。我们将后训练构建为一个统一框架,并依据对齐信号的施加方式区分隐式对齐与显式对齐。基于这一视角,我们将现有方法划分为四大类别:监督微调方法、自训练与蒸馏方法、基于偏好与奖励的方法以及推理时方法。这一分类体系为理解对齐信号在训练与部署两个阶段如何塑造模型行为提供了一致的视角。除了方法论上的进展之外,我们还回顾了常用的数据集、基准测试与评估实践,并讨论了可扩展的奖励设计、长时程时间一致性、稳定性与表现力之间的权衡以及面向安全的生成等开放挑战。本综述旨在为推动可控且可靠的视频生成模型发展提供系统性的概念基础与实用指导。
查看原文
查看缓存全文

缓存时间: 2026/10/02 20:31

论文页面 - 视频生成模型:后训练与对齐综述

来源:https://huggingface.co/papers/2610.00812 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

视频生成已从短小、低质量的片段,迅速发展为具备复杂时空动态变化的高分辨率、长时序序列。尽管通过大规模预训练学到了强大的生成先验,预训练的视频模型往往仍无法可靠地遵循人类意图、维持时序连贯性,或满足物理与安全约束。与图像和文本生成相比,视频生成中的对齐面临着独特的挑战,包括随时间累积的误差、运动与外观的耦合、多目标之间的权衡,以及针对时序属性的监督信号有限。这些挑战促使我们采用系统的后训练策略,在不从头重新训练的前提下对预训练模型进行适配。在本综述中,我们首次全面回顾了视频生成模型中的后训练与对齐方法。我们将后训练构建为一个统一框架,并根据对齐信号的施加方式,区分隐式对齐与显式对齐。基于这一视角,我们将现有方法归纳为四个主要类别:监督微调方法、自训练与蒸馏方法、基于偏好与奖励的方法,以及推理时方法。这一分类体系提供了一个连贯的视角,用以理解对齐信号如何在训练与部署两个阶段塑造模型行为。除方法学进展外,我们还回顾了常用的数据集、基准与评估实践,并讨论了开放性挑战,如可扩展的奖励设计、长时序一致性、稳定性与表达能力之间的权衡,以及安全感知的生成。本综述旨在为推动可控、可靠的视频生成模型发展,提供结构化的概念基础与实践指导。

查看 arXiv 页面 (https://arxiv.org/abs/2610.00812) 查看 PDF (https://arxiv.org/pdf/2610.00812) GitHub189 (https://github.com/people-robots/Awesome-Video-Generation-Post-Training) 加入收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.00812)

在你的 agent 中获取本文:

hf papers read 2610\.00812

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

暂无关联本文的模型

在模型 README.md 中引用 arxiv.org/abs/2610.00812,即可将其关联到本页面\。

引用本文的数据集 0

暂无关联本文的数据集

在数据集 README.md 中引用 arxiv.org/abs/2610.00812,即可将其关联到本页面\。

引用本文的 Space 0

暂无关联本文的 Space

在 Space README.md 中引用 arxiv.org/abs/2610.00812,即可将其关联到本页面\。

包含本文的合集 0

暂无包含本文的合集

将本文添加到合集 (https://huggingface.co/new-collection)即可将其关联到本页面\。

相似文章

让视频模型学得更好、更快

Hacker News Top

本文探讨了生成式视频预训练中数据筛选技术的演进,重点介绍了利用计算机视觉、大语言模型和强化学习等方法,通过高质量数据提升模型性能。

视频生成模型是通用视觉学习者

Hugging Face Daily Papers

本文提出,大规模文本到视频生成可作为计算机视觉的强大预训练范式,介绍了GenCeption,它在多种视觉任务上实现了最先进的性能,具有高数据效率和向未见领域的涌现泛化能力。

VideoGen-Agent:增强视频生成智能体

Hugging Face Daily Papers

本文提出了VideoGen-Agent,一种基于强化学习的多模态智能体,它协调工具进行视频生成,在新的VABench基准测试上显著提升了性能。

视频生成模型作为世界模拟器

OpenAI Blog

OpenAI的技术报告介绍了Sora视频生成模型,该模型通过视觉补丁统一多样化的视觉数据,支持大规模训练生成模型,能够生成长达一分钟的高清视频,支持可变的时长、宽高比和分辨率。