论文页面 - 证据支持的视频问答

来源：https://huggingface.co/papers/2607.11862

摘要

当前视频大语言模型（VideoLLMs）在问答任务中表现出色，但基本以黑箱方式运作，仅提供文本答案而缺乏可验证的视觉依据。现有的可解释性工作依赖文本理由或稀疏的边界框，难以捕捉复杂的视频动态，如遮挡和非刚性变形。我们提出证据支持的视频问答任务，要求模型同时输出语义答案和精确的时空证据：时间片段与密集的、可追踪的对象分割掩码片段。为了支持这一任务，我们引入了ST-Evidence，这是首个经过人工验证的、覆盖判别式和生成式像素级依据的基准。对最先进模型的评估揭示了问答准确率与真实视觉感知之间存在关键解耦，且仅靠规模扩展无法弥合。为解决此问题，我们开发了可扩展的自动化生成流程，构建了ST-Evidence-Instruct，一个包含16万样本的数据集，将高层推理与细粒度依据相连接。在此数据上微调有依据的视频语言模型，相比同等规模的UniPixel基线取得了显著提升（例如，在7B模型上t-mean提升+27.2%，J&F提升+13.8%），为可解释、有证据的视频理解建立了稳健的基线。代码和数据可在 https://github.com/SalesforceAIResearch/EVQA 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2607.11862)查看 PDF (https://arxiv.org/pdf/2607.11862)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2607.11862)

引用此论文的模型0

暂无模型引用此论文

在模型 README.md 中引用 arxiv.org/abs/2607.11862 以从此页面链接。

引用此论文的数据集0

暂无数据集引用此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.11862 以从此页面链接。

引用此论文的 Spaces0

暂无 Space 引用此论文

在 Space README.md 中引用 arxiv.org/abs/2607.11862 以从此页面链接。

包含此论文的收藏集0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以从此页面链接。