论文页面 - 显式图层建模实现视频对象插入与图层分解

来源：https://huggingface.co/papers/2607.25802

摘要

大多数视频编辑系统仍然缺乏显式的分层视频表示，这限制了其进行逼真合成、对象复用和一致化编辑的能力。这一局限在视频对象插入和视频图层分解任务中尤为突出，由于缺乏显式前景图层监督，现有方法依赖于隐式推理或逐场景优化。我们提出了 TriLayer，一个大规模三元组视频数据集，包含对齐的合成视频、背景视频和前景视频，其中前景图层不仅包含对象外观，还包含相关的视觉特效。这种显式监督使得模型能够直接学习分层视频表示，而非通过隐式推断。基于该数据集，我们提出了 DBL-Diffusion，一个双分支扩散框架，通过共享去噪和跨分支交互，联合建模 RGB 合成结果和 RGBA 前景图层。我们将该框架实例化为两个任务：用于分层对象插入的 DBL-Insert，生成显式 RGBA 图层以实现逼真合成和灵活后期编辑；以及用于视频图层分解的 DBL-Decompose，利用三元组监督恢复前景和背景图层。实验表明，显式图层建模显著提升了插入保真度和分解质量。

查看 arXiv 页面 (https://arxiv.org/abs/2607.25802) 查看 PDF (https://arxiv.org/pdf/2607.25802) GitHub2 (https://github.com/KyujinHan/DBL-Diffusion) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.25802)

在您的智能体中获取该论文：

hf papers read 2607.25802

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本论文的模型0

尚无模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.25802，以从本页面链接该论文。

引用本论文的数据集0

尚无数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.25802，以从本页面链接该论文。

引用本论文的 Spaces0

尚无 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.25802，以从本页面链接该论文。

包含本论文的收藏集0

尚无收藏集包含此论文

请将本论文添加到一个收藏集 (https://huggingface.co/new-collection) 中，以从本页面链接该论文。