GraphVid:交互式图可控视频生成

Hugging Face Daily Papers 论文

摘要

GraphVid 提出了一种基于图条件的图像到视频生成模型,通过结构化交互图实现交互式控制,在 FID 和 FVD 上较先前方法有显著降低,表现优异。

可控视频生成仍然具有挑战性,因为使用文本提示或主要约束像素运动的运动控制输入来指定精确的多对象交互十分困难。在实践中,基于轨迹的控制通常要求用户为多个对象绘制准确的轨迹,这随场景复杂度的增加而扩展性变差,并在遮挡或重叠情况下变得模糊。为了实现灵活而精确的多主体控制,我们提出了 GraphVid,一种基于图条件的图像到视频生成模型,通过结构化交互图实现交互式控制。我们还构建了 GraphVid-Bench,一个大规模以交互为中心的视频数据集,包含结构化关系标注,用于训练交互感知的视频生成模型。尽管使用的训练数据和可训练参数远少于先前的运动控制方法,GraphVid 仍具有强大的可控性和视频质量。与 Motion-I2V 相比,GraphVid 将 FID 降低了最高 39.9%,FVD 降低了 37.6%,同时提高了 PSNR(9.87→15.98)和 SSIM(0.38→0.61)。我们的结果凸显了结构化语义界面作为可控视频生成的一种强大范式的潜力。
查看原文
查看缓存全文

缓存时间: 2026/07/24 05:06

论文页面 - GraphVid: 交互式图可控视频生成

来源:https://huggingface.co/papers/2607.21580

摘要

可控视频生成仍然具有挑战性,因为使用文本提示或主要约束像素运动的运动控制输入来精确指定多对象交互十分困难。在实践中,基于轨迹的控制通常需要用户为多个对象绘制精确的轨迹,这随着场景复杂度的增加而扩展性变差,并且在遮挡或重叠情况下变得模糊。为了实现灵活而精确的多主体控制,我们提出了GraphVid,一种基于图条件的图像到视频生成模型,通过结构化交互图实现交互式控制。我们进一步构建了GraphVid-Bench,一个大规模的以交互为中心的视频数据集,带有结构化的关系标注,以支持交互感知视频生成模型的训练。尽管使用的训练数据和可训练参数远少于先前的运动控制方法,GraphVid仍能提供强大的可控性和视频质量。与Motion-I2V相比,GraphVid的FID降低了高达39.9%,FVD降低了37.6%,同时PSNR(9.87 → 15.98)和SSIM(0.38 → 0.61)也得到了提升。我们的结果凸显了结构化语义界面作为可控视频生成的强大范式的潜力。

查看arXiv页面(https://arxiv.org/abs/2607.21580)查看PDF(https://arxiv.org/pdf/2607.21580)项目页面(https://plan-lab.github.io/projects/graphvid)添加到收藏(https://huggingface.co/login?next=%2Fpapers%2F2607.21580)

引用此论文的模型0

没有模型链接此论文

在模型的README.md中引用 arxiv.org/abs/2607.21580 以从本页面链接。

引用此论文的数据集0

没有数据集链接此论文

在数据集的README.md中引用 arxiv.org/abs/2607.21580 以从本页面链接。

引用此论文的Space0

没有Space链接此论文

在Space的README.md中引用 arxiv.org/abs/2607.21580 以从本页面链接。

包含此论文的收藏集0

没有包含此论文的收藏集

将本论文添加到收藏集(https://huggingface.co/new-collection)以从本页面链接。

相似文章

Vidu S1:实时交互式视频生成模型

Hugging Face Daily Papers

Vidu S1 是一款实时交互式视频生成模型,支持语音控制数字角色动画,可在消费级GPU上实现无限长度输出和高帧率,达到最先进性能。

VideoGen-Agent:增强视频生成智能体

Hugging Face Daily Papers

本文提出了VideoGen-Agent,一种基于强化学习的多模态智能体,它协调工具进行视频生成,在新的VABench基准测试上显著提升了性能。

VIS-Ground:具有上下文锚定的视频交互式叙事

Hugging Face Daily Papers

VIS-Ground 提出将异构输入上下文转化为可执行约束模型的上下文接地框架,通过结构化上下文抽象、生成约束归纳和约束化视频生成三个阶段,在三个视频生成骨干上平均取得 10.3 分的绝对提升。

CogOmniControl: 基于推理的可控视频生成,通过创意意图认知

Hugging Face Daily Papers

CogOmniControl是一个基于推理的可控视频生成框架,它使用在动画制作数据上训练的专业视觉语言模型(CogVLM)从稀疏条件中推断创意意图,然后通过强化学习引导基于扩散的生成器,在新基准上取得最先进的结果。