论文页面 - DeOverlay：视频叠加内容去除的基准测试与源锚定流程

来源：https://huggingface.co/papers/2610.26081

摘要

DeOverlay 采用源锚定流匹配（source-anchored flow matching）和可见性归一化时序聚合（visibility-normalized temporal aggregation）来去除视频叠加内容，同时保留场景结构，并引入 DVTE-Bench 用于标准化评估。

视频叠加内容去除旨在恢复被字幕、标题和 logo 遮挡的场景，同时保留周围内容。现有方法采用时序传播或源条件生成，但在有效源信息被遮挡时，可能留下残余叠加内容并扭曲场景结构。我们提出 DeOverlay，一个源锚定流模型，通过固定源引导从源潜变量重建干净视频。具体而言，我们在成对的源到干净路径上训练共享速度网络（https://huggingface.co/papers?q=velocity%20network），采用区域加权流匹配（https://huggingface.co/papers?q=region-weighted%20flow%20matching），实现从中间状态的逐步修正。为选择局部源线索，我们开发了可见性归一化时序聚合（https://huggingface.co/papers?q=visibility-normalized%20temporal%20aggregation），排除被遮罩位置并对剩余观测取平均值。全局源上下文和编辑区域嵌入通过加性条件补充这些线索，保留单一视频 token 序列（https://huggingface.co/papers?q=video-token%20sequence）。为评估多种叠加条件下的场景恢复效果，我们引入 DVTE-Bench（https://huggingface.co/papers?q=DVTE-Bench），包含跨八个文本叠加类别的 1,631 对视频，配有 OCR 筛选的干净目标、帧对齐像素遮罩以及统一评估协议。在完整发布数据上的实验表明，DeOverlay 在全部五项重建和感知指标上优于四个基线，相较于最强基线分别将 Mask LPIPS（https://huggingface.co/papers?q=Mask%20LPIPS）和 Mask VFID（https://huggingface.co/papers?q=Mask%20VFID）降低 58.3% 和 70.3%。额外的定性示例展示了图形 logo 和贴纸的去除效果。我们将开放完整的基准数据集、评估代码和测试输出。项目主页：https://yahooo-m.github.io/DVTE-Bench (https://huggingface.co/papers?q=DVTE-Bench)/

查看 arXiv 页面 (https://arxiv.org/abs/2610.26081) · 查看 PDF (https://arxiv.org/pdf/2610.26081) · 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.26081)

在 Agent 中获取此论文：

hf papers read 2610.26081

没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型：0

无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.26081，即可从此页面链接。

引用此论文的数据集：0

无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.26081，即可从此页面链接。

引用此论文的 Spaces：0

无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.26081，即可从此页面链接。

包含此论文的合集：0

无合集包含此论文

将此论文添加到合集 (https://huggingface.co/new-collection)，即可从此页面链接。