标签
本文介绍了AgentViSS基准，用于评估多模态社交模拟中的视觉社交智能，包含240个场景及对齐的视觉文本证据。评估七个近期MLLM发现局部角色扮演与基于视觉的交互管理之间存在差距。
介绍 Benchmark Agent，一个完全自主的系统，用于创建多样化的基准测试，只需最少的人工干预，支持跨领域的持续模型评估。
KMMMU 是一个用于评估韩语多模态理解的本地化韩文基准，包含 3,466 道题目，涵盖九个学科和视觉模态类别，通过测试韩国特定文化和制度背景下的性能，填补了以英文为中心的基准的空白。
MEDSYN 是一个多语言多模态基准，用于评估多模态大语言模型（MLLMs）在复杂临床病例上的表现，每个病例最多包含 7 种不同的视觉证据类型。研究表明，虽然前沿模型在鉴别诊断生成方面与人类专家相当，但所有 MLLMs 在最终诊断选择中均存在显著差距，原因是异质临床证据综合能力不足。