标签
论文提出 MM-FinEval，一个针对真实世界金融预测的多任务多模态基准，涵盖2019-2022年S&P 500公司的2,045次财报电话会议，包含文本转录、演示幻灯片和音频三种模态，并设有12项金融任务标签，用于评估19个多模态基线模型。
本文介绍了ReaLMem，这是首个使用真实个人档案评估AI长期多模态记忆的基准，并提出了ChronoProfiler，通过时间加权来提升AI伴侣的个性化能力。
Sci-MMR 是一个用于评估多模态代理中多步骤证据基础科学推理的基准，揭示了答案准确率超过证据恢复率超过20%的差距。
本文介绍了 CulturalMenuBench，这是一个包含 4,870 个项目的基准，涵盖 10 种语言和 18 个地区，旨在测试多模态模型在超越单纯识别的基础上应用烹饪知识的能力。评估揭示了一个知识应用差距：在要求文化归属时，模型的性能下降，尽管识别得分很高。
PUMA是一个包含900个任务的波兰语基准，旨在评估多模态AI模型在图像、音频和文档方面的文化理解能力和实际技能。
StateSight是一个用于评估视觉语言模型空间状态重建的新基准，显示像GPT-5.5和Claude Sonnet 5这样的模型在空间推理任务上与人类表现相比存在困难。
Holtercare-Bench是一个多模态基准，用于使用Holtercare-23K数据集评估长期动态心电图分析，揭示了当前MLLMs的性能差距，并通过微调为临床应用提供改进。
MCBench是一个新基准，用于评估全模态大语言模型在视觉、音频和文本模态下的安全性。它包含1196个场景，并发现当前模型难以进行跨模态安全推理。
BloomBench是一个基于认知理论的双语（英语-阿拉伯语）多模态视觉语言模型基准，系统评估基于布鲁姆分类学的六个认知层次。实验揭示了当前模型中显著的认知不对称和跨语言性能差距。
KMMMU 是一个用于评估韩语多模态理解的本地化韩文基准，包含 3,466 道题目，涵盖九个学科和视觉模态类别，通过测试韩国特定文化和制度背景下的性能，填补了以英文为中心的基准的空白。