论文页面 - OmniCompass：全模态视频定位与理解综合基准

来源：https://huggingface.co/papers/2610.18829

摘要

OmniCompass 是一个面向全模态视频定位与理解的综合基准，通过时间定位、空间定位和问答任务来评估视觉语言及视听推理能力。

随着多模态大语言模型 (https://huggingface.co/papers?q=multimodal%20large%20language%20models)（MLLM）的快速发展，评估其视频理解 (https://huggingface.co/papers?q=video%20understanding)能力变得日益重要。现有的视频理解 (https://huggingface.co/papers?q=video%20understanding)基准仅涵盖部分评估维度，限制了对全模态视频理解 (https://huggingface.co/papers?q=video%20understanding)能力的系统性诊断。我们推出 OmniCompass，一个面向全模态视频定位与理解的综合基准。OmniCompass 定义了两条评估赛道：OmniCompass-VL 在需要视觉证据的任务上评估视觉语言模型 (https://huggingface.co/papers?q=vision-language%20models)，而 OmniCompass-AV 则在需要联合视听证据的任务上评估全模态模型。每条赛道包含三项互补任务：时间定位 (https://huggingface.co/papers?q=temporal%20grounding)（TG）、空间定位 (https://huggingface.co/papers?q=spatial%20grounding)（SG）和问答 (https://huggingface.co/papers?q=question%20answering)（QA），分别评估所指目标何时出现、位于何处以及发生了什么。OmniCompass-VL 的问答任务涵盖五类感知和三类推理，OmniCompass-AV 则涵盖三类感知和两类推理。OmniCompass-VL 包含来自不同领域的 820 个视频和 2,460 个样本，覆盖短、中、长三种时长类型。其中叙事和音频内容丰富的子集构成了 OmniCompass-AV，包含 240 个视频和 720 个样本。每个样本均在两种配对设置下进行评估：纯文本和文本+图像，分别通过文本与视觉语言引导来指定同一目标。所有样本均经过人工标注和多轮质量核验。对 50 个 MLLM 的评估表明，开源模型仍落后于专有模型，尤其是在视听理解方面。即使对于领先模型，精确的时间定位和空间定位 (https://huggingface.co/papers?q=spatial%20grounding)仍具有挑战性，而且它们在两种配对目标描述下的预测仍存在不一致。

查看 arXiv 页面 (https://arxiv.org/abs/2610.18829)查看 PDF (https://arxiv.org/pdf/2610.18829)项目页面 (https://omnicompass.netlify.app/)GitHub54 (https://github.com/PolyU-VCLab/OmniCompass)添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.18829)

在你的智能体中获取这篇论文：

hf papers read 2610\.18829

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

暂无模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.18829，即可从本页面链接到该模型。

引用这篇论文的数据集1

VCLab-PolyU/OmniCompass 查看器• 更新于2天前 • 3.18k • 486 • 4 (https://huggingface.co/datasets/VCLab-PolyU/OmniCompass)

引用这篇论文的 Spaces0

暂无 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.18829，即可从本页面链接到该 Space。

包含这篇论文的收藏集1