MFVSR:面向视频字幕移除的多风格细粒度基准

Hugging Face Daily Papers 论文

摘要

MFVSR 提出一个大规模、多风格的视频字幕移除基准,通过空间解耦的细粒度协议评估修复保真度、区域保持性、时间一致性与可靠性,涵盖3000对视频和16种语言。

视频字幕移除(VSR)是一项重要的视频修复任务,然而现有评估仍受限于低分辨率数据集、碎片化的测试集以及通用的视频修补协议,这些协议无法充分捕捉局部修复误差、非预期修改、时间不稳定性和输出不完整等问题。本文提出 MFVSR,一个面向细粒度且兼顾可靠性评估的大规模多风格视频字幕移除基准。MFVSR 具有三大核心特点:(1)大规模且多样化的数据,包含来自 Real-HQ、Real-LQ 和 AI 生成源的 3,000 对配对视频,另附 953 个真实场景视频用于实际场景覆盖率分析;(2)受控的字幕多样性,涵盖 16 种语言以及覆盖空间布局、时间行为、视觉风格和语言模式的四类因素;(3)细粒度评估,引入一种信息条件化、空间解耦的协议,将盲移除与掩码引导移除分离,并量化修复保真度(Restoration Fidelity)、保持保真度(Preservation Fidelity)、时间保真度(Temporal Fidelity)、覆盖率和失败情况。在六种代表性方法上的实验揭示了局部修复、区域外保持、时间一致性与整体可靠性之间的显著差异,而这些差异在传统的全帧指标中往往被掩盖。因此,MFVSR 为评估和推动视频字幕移除方法的发展提供了更全面、更具诊断性的基础。
查看原文
查看缓存全文

缓存时间: 2026/10/16 03:02

论文页面 - MFVSR:面向视频字幕去除的多风格细粒度基准

来源:https://huggingface.co/papers/2610.18461

摘要

MFVSR 引入了一个大规模、多风格的视频字幕去除基准,通过细粒度、空间解耦的评测协议,评估修复保真度、保留保真度、时序一致性和可靠性。

视频字幕去除(https://huggingface.co/papers?q=Video%20subtitle%20removal)(VSR)是一项重要的视频修复任务,但现有的评测仍然受限于低分辨率数据集、零散的测试集以及通用的视频修复协议,无法充分捕捉局部修复误差、非预期修改、时序不稳定和不完整输出等问题。本文提出了MFVSR(https://huggingface.co/papers?q=MFVSR),一个面向细粒度、可靠性感知的视频字幕去除(https://huggingface.co/papers?q=video%20subtitle%20removal)评测的大规模多风格基准(https://huggingface.co/papers?q=multi-style%20benchmark)。MFVSR(https://huggingface.co/papers?q=MFVSR)通过三个关键特征区别于现有基准:(1)大规模且多样的数据,包含来自 Real-HQ、Real-LQ 和 AI 生成来源的 3,000 对配对视频,以及 953 个真实场景视频作为辅助集,用于真实世界覆盖度分析;(2)受控的字幕多样性,涵盖 16 种语言和四个因素,覆盖空间布局、时间行为、视觉风格和语言模式;(3)细粒度评测,引入了一种信息条件化、空间解耦的协议,将盲去除与掩码引导去除(https://huggingface.co/papers?q=mask-guided%20removal)区分开来,并衡量修复保真度(https://huggingface.co/papers?q=Restoration%20Fidelity)、保留保真度(https://huggingface.co/papers?q=Preservation%20Fidelity)、时序保真度(https://huggingface.co/papers?q=Temporal%20Fidelity)、覆盖率和失败率。在六种代表性方法上的实验揭示了局部修复、区域外保留、时序一致性和全集可靠性之间的显著差异,而这些差异在传统全帧指标下被掩盖。因此,MFVSR(https://huggingface.co/papers?q=MFVSR)为视频字幕去除(https://huggingface.co/papers?q=video%20subtitle%20removal)方法的评估和改进提供了一个更加全面、更具诊断性的基础。

查看 arXiv 页面 (https://arxiv.org/abs/2610.18461) 查看 PDF (https://arxiv.org/pdf/2610.18461) GitHub3 (https://github.com/hxyiiii/MFVSR) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.18461)

在你的 agent 中获取此论文:

hf papers read 2610\.18461

没有最新的 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

暂无模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2610.18461 即可将此页面关联起来。

引用此论文的数据集 1

siiian/MFVSR Viewer• 2天前更新 • 3k • 183 (https://huggingface.co/datasets/siiian/MFVSR)

引用此论文的 Spaces 0

暂无 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2610.18461 即可将此页面关联起来。

收录此论文的合集 0

暂无合集收录此论文

将此论文添加到合集 (https://huggingface.co/new-collection) 即可将此页面关联起来。

相似文章

DeOverlay:面向视频叠加物去除的基准与源锚定流模型

Hugging Face Daily Papers

DeOverlay 提出一种基于源锚定流匹配与可见性归一化时序聚合的视频水印/字幕去除方法,并发布 DVTE-Bench 基准(1,631 对视频、八类文字覆盖),在五项重建与感知指标上显著优于四个基线。

OmniCapBench:面向细粒度音视频字幕的深度结构化评估框架

Hugging Face Daily Papers

OmniCapBench 提出一个深度结构化的音视频字幕评估框架,将预测目标从自由文本转为可验证的原子评估单元(实体引用、视觉镜头、音频事件),在 786 个密集标注视频上区分多模态大模型的感知错误,揭示前沿模型长时程音视觉推理能力薄弱。

AV-FABLE:长视频中的音视频篡改取证

Hugging Face Daily Papers

AV-FABLE 提出了一个面向长视频中稀疏篡改检测的音视频基准,表明冻结的 AV-LLM 感知特征包含取证信号,这些信号通过独立的时序解码器(NFSR)比通过语言输出能更好地被提取。