标签
本文提出了δ-Vision,一种通过使用轻量级低秩适配器高效重建视觉状态而不丢弃视觉令牌,从而降低多模态语言模型计算开销的方法。
本文探讨校准模糊性作为人类交流与多模态语言模型中的生成资源,通过Dixit游戏展示AI表现出模糊性崩溃且缺乏文化引用,与人类形成对比。
本文介绍了SPACE,这是首个面向多模态大语言模型(MLLMs)的无源遗忘框架,它利用文本引导的代理锚点选择和双约束语义隔离来擦除目标概念,无需访问原始训练数据,实现了与依赖数据的方法相当的性能。
研究者引入了MM-OCEAN数据集和一个三级评估框架,用于多模态大语言模型中的基于证据的个性推理,揭示了'偏见鸿沟'——模型常常做出正确的预测,但缺乏合理的证据支撑。
SpaceDG是一个大规模数据集和基准测试,用于评估多模态语言模型在运动模糊、低光照等视觉退化条件下的空间推理鲁棒性,揭示了显著的性能差距,并表明在SpaceDG上进行微调可在不降低干净图像性能的前提下提升鲁棒性。