论文页面 - Video-Oasis: 重新思考视频理解评估

来源：https://huggingface.co/papers/2603.29616

摘要

Video-Oasis 诊断结果显示，现有视频基准测试中有一半无需视觉输入即可解答，揭示了当前视频理解模型存在显著的能力差距。

视频理解（https://huggingface.co/papers?q=video%20understanding）固有的复杂性，使得难以判断 Video-LLM（https://huggingface.co/papers?q=Video-LLM）基准测试的性能究竟源于视觉感知（https://huggingface.co/papers?q=visual%20perception）、语言推理（https://huggingface.co/papers?q=linguistic%20reasoning）还是知识先验（https://huggingface.co/papers?q=knowledge%20priors）。尽管已涌现出许多评估高层推理的基准，但视频理解（https://huggingface.co/papers?q=video%20understanding）评估的共享标准仍被普遍忽视。我们并未引入新的基准，而是退一步重新审视视频理解（https://huggingface.co/papers?q=video%20understanding）的评估标准。在这项工作中，我们提出了 Video-Oasis，一个可持续的诊断套件（https://huggingface.co/papers?q=diagnostic%20suite），用于系统性地审计现有的视频理解（https://huggingface.co/papers?q=video%20understanding）基准。审计结果显示，现有基准样本中 55% 无需视觉输入或时间上下文即可解答。过滤掉这些捷径后，剩余的视频原生挑战（https://huggingface.co/papers?q=video-native%20challenges）暴露了巨大的能力差距：最先进模型的性能仅略高于随机猜测。基于这些发现，我们利用提炼后的挑战作为测试平台，研究哪些算法设计选择（https://huggingface.co/papers?q=algorithmic%20design%20choices）有助于提升鲁棒的视频理解（https://huggingface.co/papers?q=video%20understanding）。我们希望这项工作能为构建严格的视频基准以及评估未来的 Video-LLM（https://huggingface.co/papers?q=Video-LLM）提供实用基础。代码可在 https://github.com/sejong-rcv/Video-Oasis 获取。

查看 arXiv 页面（https://arxiv.org/abs/2603.29616）查看 PDF（https://arxiv.org/pdf/2603.29616）项目页面（https://limgeuntaekk.github.io/Video-Oasis/）GitHub14（https://github.com/sejong-rcv/Video-Oasis）加入收藏（https://huggingface.co/login?next=%2Fpapers%2F2603.29616）

在你的代理中获取此论文：

hf papers read 2603.29616

没有最新 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

暂无模型链接此论文

请在模型 README.md 中引用 arxiv.org/abs/2603.29616 以从此页面链接。

引用此论文的数据集0

暂无数据集链接此论文

请在数据集 README.md 中引用 arxiv.org/abs/2603.29616 以从此页面链接。

引用此论文的 Spaces0

暂无 Space 链接此论文

请在 Space README.md 中引用 arxiv.org/abs/2603.29616 以从此页面链接。

包含此论文的收藏集0

暂无收藏集包含此论文

请将此论文添加到收藏集（https://huggingface.co/new-collection）以从此页面链接。