cross-modal-retrieval

本文识别了多模态大语言模型中一种特殊的注意力头子集，称为CoRe头，它们在跨模态检索中表现出功能稀疏性。因果干预实验表明，这些头对多模态推理至关重要，利用这种稀疏性可以加速推理。

Urban-ImageNet是一个大规模多模态数据集和评估基准，用于从社交媒体图像进行城市空间感知，支持场景分类、跨模态检索和实例分割任务，覆盖中国24个城市的61个城市地点。

SIMMER提出了一种新颖的基于MLLM的嵌入方法，用于跨模态食物图像-食谱检索，用统一编码器替代传统的双编码器架构，在Recipe1M数据集上取得了最先进的结果，相比先前方法有显著改进。