标签
Event-STVG 提出一个面向长视频事件推理的时空视频定位基准,涵盖足球等 8 个领域、共 4,016 条标注事件;在 10 分钟时长的视频上,现有最强 MLLM 仅取得 5.4% 的 m-vIoU,凸显出长上下文事件推理与多目标定位所面临的显著挑战。
论文提出了空间记忆智能(Spatial Memory Intelligence, SMI)框架,它首次采用理解模型(MLLM)在长视频世界模型中系统化地管理空间记忆,具体通过四个原子操作实现:空间聚类、簇内稀疏化、动作感知检索以及可靠性感知过滤。实验表明,该方法在多种世界模型主干上均提升了记忆稀疏性、生成稳定性和空间一致性。
Where-OPD 提出了一种面向多模态大语言模型(MLLMs)的空间引导在线策略自蒸馏方法:利用拥有特权空间文本指导的教师模型,在程序化生成的合成场景上对学生模型进行蒸馏,通过合成到真实的迁移,在真实世界感知基准上平均取得 3.23 分的性能提升。
本文指出了多模态大语言模型隐式视觉推理中的「隐式证据-信用鸿沟」,并提出 ReaLVR,通过对比正确/错误答案以及相关/不匹配图像,为自由运行的隐式轨迹引入视觉证据监督。ReaLVR 在三大模型系列上均优于 LVR 基线(在 Qwen2.5-VL-7B 上五任务平均达到 63.7%),并能稳健地扩展到 2350 亿参数的前沿模型。
BenchBench是一个基准测试,挑战多模态LLMs竞争组装Ikea家具,以测试其实际AI能力。
本文介绍SCOPE,一种用于计算机使用智能体的联合训练方法,它利用合成数据集,提升了任务完成度和安全性,并在基准测试OSWorld和OS-BLIND上取得了优异性能。
一项系统性的基准测试研究,对多模态大语言模型的免训练不确定性量化策略进行评测,将方法分为基于令牌级、语言化和语义的方法,并发现最佳策略取决于响应长度。
PolyBridgeBench是一种新的可执行基准测试,用于评估多模态大型语言模型在基于物理的桥梁设计任务中的表现,揭示了结构合成与修复中确定性有效性与动态成功之间的差距。
本文提出AREA,一种无需训练的推理时方法,自适应分配多模态大语言模型中的证据高亮,提升在基于知识的视觉问答和标准多模态基准测试上的性能。
OmniHallu引入了一个统一的幻觉检测框架,适用于多模态大语言模型,涵盖图像、视频和音频模态的理解与生成任务,并包括一个基准测试和多智能体架构。
ReactHuman 是一个物理基础的基准,用于评估多模态大语言模型在模拟人形机器人面对家庭危险时的类人反应性决策能力,揭示了持续的安全故障,并提供了一个可扩展的诊断工具。
本文提出了HEAL,一种通过因果干预和反事实分析来分析和校准协同头中信息分布的方法,以减轻多模态大型语言模型中的幻觉。
本文介绍了TA-SPA,一个针对多模态大型语言模型的黑盒越狱攻击框架,该框架利用基于文本的语义扰动,实现针对安全对齐的有效且可转移的攻击。
Video-IFBench 介绍了一个综合基准,用于评估多模态大语言模型在视频理解任务中遵循多样化指令的能力,涵盖多种约束条件和任务类型。
本文提出了一种面向GUI代理的长度感知对比学习(LACL-GUI),这是一种对比强化学习框架,通过纳入轨迹级质量信号来解决奖励-梯度错位问题,从而提升代理性能。
OraRL 通过将标注整合为 oracle rollout,改进了视频多模态语言模型的强化学习后训练,实现了更高的样本效率和性能,无需思维链生成。
该推文指出,能够处理气味的多模态大语言模型尚未存在,凸显了当前人工智能技术的局限性。
MobileForge 是一个面向项目级多屏移动应用生成的基准测试,用于评估多模态大语言模型在构建成功、跨页导航、视觉保真度、可维护性和效率方面的表现。对六个前沿多模态大语言模型的实验表明,当前模型能够编译并到达目标页面,但在交互式导航和视觉质量方面仍存在困难。
本文介绍了TokenSwap,一种将纯文本基准测试转换为图像交错对应物的方法,以及TokenSwap-Bench,用于衡量42个多模态大语言模型的模态差距。研究发现推理模型的差距较小,并表明基于TokenSwap的训练可以缩小这一差距。
本文介绍了Symphony-Bias,一个用于评估大语言模型在文本、视觉和音频模态下乐器与性别关联偏见的多模态数据集。研究发现,92%的乐器层面结果与先前社会科学研究一致,其中文本模态的性别偏见最强,音频最弱。