论文页面 - MVEB：大规模视频嵌入基准

来源：https://huggingface.co/papers/2606.14958 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

一个大规模视频嵌入基准评估了多种模型在多个视频理解任务上的表现，揭示了不同模型架构在特定领域中的优势，并展示了音频对性能的细微影响，这种影响取决于数据集特征。

我们引入了大规模视频嵌入基准（MVEB），这是一个包含23个任务的视频嵌入基准（https://huggingface.co/papers?q=video%20embeddings），涵盖分类、零样本分类（https://huggingface.co/papers?q=zero-shot%20classification）、聚类、配对分类、检索和以视频为中心的问题回答（https://huggingface.co/papers?q=video-centric%20question%20answering）。我们评估了33个模型，发现没有单一模型占据主导地位：基于MLLM的嵌入在分类、聚类、配对分类和问答上领先；多模态绑定（https://huggingface.co/papers?q=multimodal%20binding）在检索和零样本分类（https://huggingface.co/papers?q=zero-shot%20classification）上领先；未经对比调整的生成式MLLM（https://huggingface.co/papers?q=generative%20MLLMs）在跨模态任务（https://huggingface.co/papers?q=cross-modal%20tasks）上表现不佳。对比仅视频和音频加视频的评估表明，音频的贡献取决于数据集标注来源：当标签来自两种模态时，音频有帮助；当标签仅来自视觉时，音频有损，这一差距在各类模型家族中一致为6个百分点。MVEB源自MVEB+（一个包含184个任务的任务池），旨在在保持任务多样性的同时降低评估成本。它集成到MTEB生态系统（https://huggingface.co/papers?q=MTEB%20ecosystem）中，用于对文本、图像、音频和视频进行统一评估。我们在 https://github.com/embeddings-benchmark/mteb 发布MVEB和所有184个任务，以及代码和排行榜。

查看arXiv页面（https://arxiv.org/abs/2606.14958）查看PDF（https://arxiv.org/pdf/2606.14958）项目页面（https://embeddings-benchmark.github.io/leaderboard-frontend/benchmark/MVEB(beta)）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.14958）

引用此论文的模型0

没有模型引用此论文

在模型的README.md中引用arxiv.org/abs/2606.14958即可从此页面链接。

引用此论文的数据集0

没有数据集引用此论文

在数据集的README.md中引用arxiv.org/abs/2606.14958即可从此页面链接。

引用此论文的Space0

没有Space引用此论文

在Space的README.md中引用arxiv.org/abs/2606.14958即可从此页面链接。

包含此论文的合集1