Vera：一种用于保持内容一致性的分层扩散视频编辑模型

Hugging Face Daily Papers 论文
video-editing diffusion-model content-preservation layered-diffusion mixture-of-transformers alpha-matte

摘要

Vera 是一种分层扩散模型，专为视频编辑设计，通过生成编辑层和 Alpha 遮罩来保留源内容，并采用混合 Transformer（Mixture-of-Transformers）架构。

视频扩散模型在视频生成和编辑领域取得了显著进展。然而，内容保留仍是一个核心挑战：现有方法会重新生成每个像素，往往改变了不应变动的元素，如角色或背景场景。我们提出了 Vera，一种用于保持内容一致性的分层扩散视频编辑框架。Vera 并非重新生成整个视频，而是生成一个编辑层以及用于与源视频合成的 Alpha 遮罩，通过设计将创意编辑与内容保留分离开来。为了促进与源视频的连贯合成，我们将文本到视频 DiT 扩展为混合 Transformer（MoT）架构，每个层都有独立的 DiT，并通过联合自注意力进行交互。为了支持 Vera 的训练，我们进一步构建了一个高质量的分层数据集，包含精确的 Alpha 遮罩、多样的场景和动态变化以及视觉效果。在我们的定量基准和人类偏好研究中，Vera 在内容保留方面优于领先的开源视频编辑模型，同时在编辑质量上保持竞争力，而训练数据仅使用了 486K 帧的分层数据。
查看原文
查看缓存全文

缓存时间: 2026/06/23 17:43

论文页面 - Vera: A Layered Diffusion Model for Content-Preserving Video Editing

来源: https://huggingface.co/papers/2606.23610

摘要

Vera 是一种分层扩散框架，通过 Mixture-of-Transformers 架构生成编辑层和 alpha 遮罩，在编辑过程中保留视频内容。

视频扩散模型 (https://huggingface.co/papers?q=Video%20diffusion%20models) 在视频生成和编辑方面取得了显著进展。然而，内容保留 (https://huggingface.co/papers?q=content%20preservation) 仍然是一个核心挑战：现有方法会重新生成每个像素，并且经常改变不应改变的元素，例如角色或背景场景。我们提出 Vera，一种用于内容保留视频编辑的分层扩散框架 (https://huggingface.co/papers?q=layered%20diffusion%20framework)。Vera 不是重新生成整个视频，而是生成一个编辑层 (https://huggingface.co/papers?q=edit%20layer) 以及一个 alpha 遮罩 (https://huggingface.co/papers?q=alpha%20matte) 用于与源视频合成 (https://huggingface.co/papers?q=compositing)，通过设计将创意编辑与内容保留 (https://huggingface.co/papers?q=content%20preservation) 分开。为了鼓励与源视频的连贯合成，我们将文本到视频的 DiT (https://huggingface.co/papers?q=text-to-video%20DiT) 扩展为 Mixture-of-Transformers (https://huggingface.co/papers?q=Mixture-of-Transformers) (MoT) 架构，每个层都有独立的 DiT，它们通过联合自注意力 (https://huggingface.co/papers?q=joint%20self-attention) 进行交互。为了支持 Vera 的训练，我们进一步构建了一个高质量的分层数据集 (https://huggingface.co/papers?q=layered%20dataset)，包含准确的 alpha 遮罩 (https://huggingface.co/papers?q=alpha%20matte)、多样化的场景和动态以及视觉效果 (https://huggingface.co/papers?q=visual%20effects)。在我们的定量基准测试和人类偏好研究中，Vera 在内容保留 (https://huggingface.co/papers?q=content%20preservation) 方面优于领先的开源视频编辑模型，同时在编辑质量上保持竞争力，仅使用了 486K 帧的分层训练数据。

查看 arXiv 页面 (https://arxiv.org/abs/2606.23610)
查看 PDF (https://arxiv.org/pdf/2606.23610)
项目页面 (https://vera-layered-diffusion.github.io/)
添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.23610)

在您的智能体中获取此论文：

hf papers read 2606\.23610

没有最新的 CLI？ curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2606.23610 即可从此页面链接该模型。

引用此论文的数据集 1

netflix/Vera-Layered-Video-Dataset

Viewer • Updated about 14 hours ago • 90.1k • 51 • 1 (https://huggingface.co/datasets/netflix/Vera-Layered-Video-Dataset)

引用此论文的 Space 0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2606.23610 即可从此页面链接该 Space。

包含此论文的收藏集 0

没有收藏集包含此论文

将此论文添加到一个收藏集 (https://huggingface.co/new-collection) 即可从此页面链接它。

相似文章

显式层建模用于视频对象插入与层分解

Hugging Face Daily Papers

本文介绍了TriLayer，一个包含前景-背景-合成三元组的大规模视频数据集，以及DBL-Diffusion，一个用于显式分层视频表示的双分支扩散框架，实现了高保真度的对象插入和层分解。

流式视频编辑与便捷适配

Hugging Face Daily Papers

本文介绍了SVEET，一个用于高质量流式视频编辑的框架，它利用预训练的视频扩散模型，实现自动回归编辑，并在单个GPU上实现实时性能。