论文页面 - VideoMaMa++：通过 Preserve-and-Refine Token 实现时间一致的视频抠像

来源: https://huggingface.co/papers/2610.26857

摘要

一个基于扩散的视频抠像框架，使用分离的 token 流和可学习嵌入在分块之间传播抠像结果，从而在长视频上提升时间一致性和细节精度。

基于扩散的视频抠像（https://huggingface.co/papers?q=Diffusion-based%20video%20matting）近期已成为一种主流方法，利用来自互联网规模预训练的视频扩散先验（https://huggingface.co/papers?q=video%20diffusion%20priors），在有限合成数据上实现强大的零样本泛化能力。然而，这些扩散骨干网络的高计算开销使得推理只能在仅 6 到 24 帧的短片段上进行，因此即使是普通视频也会跨越多个片段。由于每个片段都是在粗略掩码引导下独立抠像的，现有方法无法在片段边界处保持一致性，导致边缘闪烁和透明度不连续。我们通过一个掩码引导的扩散抠像框架来解决这一问题，该框架基于两个核心思想。RGB 和掩码条件被表示为独立的 token 流，通过全时空自注意力（https://huggingface.co/pairs?q=spatio-temporal%20self-attention）进行交互，使模型能够自适应地融合精细的 RGB 纹理和粗略的掩码布局，而不是依赖固定的通道级融合。在此基础上，我们提出了一对新颖的可学习嵌入——preserve token（https://huggingface.co/papers?q=preserve%20token）和 refine token（https://huggingface.co/papers?q=refine%20token），它们作为逐帧条件接口，实现了滑动窗口推理（https://huggingface.co/papers?q=sliding-window%20inference）方案：已生成的抠像结果跨片段边界传播以保证局部时间一致性（https://huggingface.co/papers?q=temporal%20consistency），同时在每个片段中加入全局共享的参考锚点以防止长序列中的误差累积，且无需任何额外训练。在标准视频抠像基准和野外长视频素材上，我们的框架在精细细节精度和时间一致性（https://huggingface.co/papers?q=temporal%20consistency）方面均优于先前的基于扩散的方法，并且能够在长视频上独特地保持跨片段边界的一致性。

查看 arXiv 页面 (https://arxiv.org/abs/2610.26857) | 查看 PDF (https://arxiv.org/pdf/2610.26857) | 项目主页 (https://cvlab-kaist.github.io/VideoMaMa-PlusPlus/) | GitHub11 (https://github.com/cvlab-kaist/VideoMaMa-PlusPlus) | 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.26857)

在你的 agent 中获取此论文：

hf papers read 2610\.26857

没有最新 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.26857 以从此页面链接它。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.26857 以从此页面链接它。

引用此论文的 Spaces 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.26857 以从此页面链接它。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集（https://huggingface.co/new-collection）以从此页面链接它。