@samsja19：很棒的基准
摘要
介绍 VGI-Bench，这是一个多模态基准测试，通过 550 个人工策划的问题来评估 12 种不同的视觉和视听技能，旨在暴露当今视频基准测试中的不足。
查看缓存全文
缓存时间: 2026/08/08 13:09
很棒的基准测试
Seldon (@seldon_tech): 隆重介绍 VGI-Bench：一个多模态、全面的基准测试，涵盖 12 种不同的视觉和视听技能。
包含 550 道人工策划的问题，旨在规避当前视频基准测试中的常见错误，并揭示最先进模型在实际应用中的缺陷。
最佳模型：
相似文章
VIABench：一项由视障人士收集的全面视频基准，用于视觉障碍辅助
介绍了VIABench，这是一个全面的视频基准，用于评估多模态大语言模型在真实世界中对盲人和视障人士的视觉辅助能力，涵盖了761个视频和14,526个标注，涉及三个任务。
SVI-Bench：战略视频智能的动态微世界
介绍了SVI-Bench，这是一个利用团队运动进行战略视频智能的大规模基准，旨在评估模型在动态场景理解、因果推理、战略模拟和代理综合方面的能力。该基准揭示了一个能力断崖：模型在感知任务上表现良好，但在更高层次的战略推理上急剧下降。
WorldBench：一个具有挑战性且视觉多样化的多模态推理基准
介绍WorldBench，一个视觉多样化的多模态推理基准，揭示了当前多模态大语言模型在视觉理解方面的显著局限性。
MSAVBench：迈向多镜头音视频生成的全面可靠评估
MSAVBench是首个面向多镜头音视频生成的综合基准与自适应评估框架，评估了19个模型在多样化任务上的表现，并与人类判断实现了高度对齐。
OVO-S-Bench：面向多模态大语言模型流式空间智能的层次化基准测试
OVO-S-Bench 构建了一个全面的人工标注基准测试，涵盖 348 个视频中的 1,680 道问题，用于评估多模态大语言模型的流式空间智能能力。结果显示，即便是表现最佳的模型（Gemini-3.1-Pro）也比人类专家低 27 分。该基准测试揭示了若干关键局限：以他者为中心的空间映射是主要瓶颈，而思维链推理则会放大空间错误。