multimodal-benchmark

Holtercare-Bench是一个多模态基准，用于使用Holtercare-23K数据集评估长期动态心电图分析，揭示了当前MLLMs的性能差距，并通过微调为临床应用提供改进。

MCBench是一个新基准，用于评估全模态大语言模型在视觉、音频和文本模态下的安全性。它包含1196个场景，并发现当前模型难以进行跨模态安全推理。

BloomBench是一个基于认知理论的双语（英语-阿拉伯语）多模态视觉语言模型基准，系统评估基于布鲁姆分类学的六个认知层次。实验揭示了当前模型中显著的认知不对称和跨语言性能差距。

KMMMU 是一个用于评估韩语多模态理解的本地化韩文基准，包含 3,466 道题目，涵盖九个学科和视觉模态类别，通过测试韩国特定文化和制度背景下的性能，填补了以英文为中心的基准的空白。