标签
MobileForge 是一个面向项目级多屏移动应用生成的基准测试，用于评估多模态大语言模型在构建成功、跨页导航、视觉保真度、可维护性和效率方面的表现。对六个前沿多模态大语言模型的实验表明，当前模型能够编译并到达目标页面，但在交互式导航和视觉质量方面仍存在困难。
本文介绍了TokenSwap，一种将纯文本基准测试转换为图像交错对应物的方法，以及TokenSwap-Bench，用于衡量42个多模态大语言模型的模态差距。研究发现推理模型的差距较小，并表明基于TokenSwap的训练可以缩小这一差距。
本文介绍了Symphony-Bias，一个用于评估大语言模型在文本、视觉和音频模态下乐器与性别关联偏见的多模态数据集。研究发现，92%的乐器层面结果与先前社会科学研究一致，其中文本模态的性别偏见最强，音频最弱。
本文探讨了当视觉证据与语言先验冲突时，多模态大语言模型为何在视觉中心任务上失败，引入了WhatIfVis基准，并表明模型通常能编码视觉证据，但无法可靠地控制对其的依赖。
关于使用大语言模型进行多模态幽默理解的全面综述，涵盖方法、数据集、评估协议以及在解读迷因、卡通和漫画中幽默的挑战。
本文介绍了ActiveVision，一个用于评估多模态大语言模型主动观察能力的基准测试。前沿模型如GPT-5.5和Claude Fable 5表现不佳，分别仅解决了10.6%和3.5%的任务，而人类达到了96.1%，凸显了迭代视觉感知的缺失。
本文评估了多模态大语言模型（MLLMs）在图像局部概念命名中的零样本能力，提出了一种可复现的评估协议，在无训练的情况下实现了62-88%的对象级准确率。
NormAct是一个基准，用于评估具身规划代理在隐藏社会规范遵守方面的表现，结果显示最先进的多模态大语言模型（MLLMs）在目标达成率为67.3%时，规范遵守率仅为26.4%，并提出了NormPerceptor，将任务成功率从24.2%提升至46.7%。
本文识别了多模态大语言模型中一种特殊的注意力头子集，称为CoRe头，它们在跨模态检索中表现出功能稀疏性。因果干预实验表明，这些头对多模态推理至关重要，利用这种稀疏性可以加速推理。
一篇综述，以人类视角呈现对多模态大语言模型（MLLMs）进行视频理解的研究，围绕观看、记忆和推理能力组织，涵盖挑战、方法和应用。
本文介绍了ReasonMatch-Bench，一个用于多模态大语言模型中宽基线匹配的基准，并提出了动态对应强化学习（DCRL）以提升空间推理能力。实验表明，该方法在基准测试上取得了显著提升，同时保持了通用性能。
LatentOmni 提出了一种跨模态推理框架，将文本推理与音视频潜在状态交错结合，在音视频推理任务上优于显式文本链式思考方法。
本文介绍了一种分布感知的强化学习框架，该框架利用基于批级比较的监督信号，提升了多模态大语言模型在长尾数值回归任务中的性能。
本文提出了一种用于探测多模态大语言模型内部视觉表征的因果框架，揭示了实体与抽象概念在编码方式上的差异。研究强调增加模型深度对于编码抽象概念至关重要，并揭示了当前多模态大语言模型在感知与推理之间的脱节。
本文介绍了 BalCapRL，这是一种针对多模态大语言模型（MLLM）的平衡强化学习框架，旨在联合优化图像描述生成中的准确性、覆盖率和语言质量。通过奖励解耦和长度条件屏蔽来解决实用性与流畅性之间的权衡，该方法在性能上优于现有方法。
# 论文页面 - 多模态LLM中的乘法：基于文本、图像和音频输入的计算 来源：[https://huggingface.co/papers/2604.18203](https://huggingface.co/papers/2604.18203) ## 摘要 多模态大语言模型在不同的表示形式与模态下执行精确的多位数乘法时，均表现出一致的计算局限性；其性能与一种新颖的算术负载指标密切相关，该指标比传统的步骤计数方法更能预测准确性
研究者推出 Mind’s Eye，一项包含八道视觉认知任务的基准测试，显示顶级多模态大模型得分不足 50%，而人类可达 80%，暴露出视觉抽象、关系映射与心理变换方面的巨大差距。
研究表明，由于捷径学习和仅凭文本臆造视觉细节，思维链提示会损害多模态大模型在视觉空间推理方面的表现。