UMER：通过配对感知判别推理统一嵌入与排序以实现通用多模态检索

# UMER：通过成对感知判别推理统一嵌入与排序，实现通用多模态检索
来源：https://arxiv.org/html/2608.18504

###### 摘要

通用多模态检索旨在支持多样化的指令感知检索任务，这既需要高效的语料库级匹配，也需要细粒度的语义推理。近期基于多模态大语言模型的嵌入方法通常从隐藏状态中提取表示，而思维链推理作为一种有前景的嵌入增强策略，通过将中间语义证据编码到表示空间中。然而，现有的思维链方法通常对查询和候选项进行独立的项目级推理，无法提供明确的证据来区分正样本与语义混淆的难负样本。此外，对比嵌入虽能捕捉全局相似性，但在需要答案验证、类别判断或细粒度推理的元任务上表现欠佳。本文提出了**UMER**，一个用于通用多模态检索的**统一多模态嵌入与排序**框架。UMER 采用**成对感知判别推理**取代项目级反思，通过比较查询-候选对来识别指令相关的匹配与差异证据。UMER 在单个多模态大语言模型中联合学习用于高效全局匹配的对比嵌入和用于显式成对相关性判断的判别排序。一种互补的互蒸馏策略进一步在嵌入和排序函数之间迁移可靠的成对偏好。在 MMEB-V2 基准测试中，UMER 在相当的实验条件下取得了最先进的性能，同时支持可调节预算的推理。

## 引言

参照说明 图1：通用多模态检索中被忽视的两个问题。$(a)$ 项目级自反思思维链缺乏用于难负样本区分的成对感知证据。$(b)$ 不同的元任务需要不同的能力，嵌入和排序提供互补优势。通用多模态检索旨在在一个统一框架内支持跨图像、文本、视频和文档的多样化指令感知任务。主流解决方案是将异构输入编码到一个共享的嵌入空间中，从而实现对大规模多模态语料库的高效检索。早期的多模态表示模型，如 CLIP (Radford et al. 2021 (https://arxiv.org/html/2608.18504#bib.bib17))、ALIGN (Jia et al. 2021 (https://arxiv.org/html/2608.18504#bib.bib7)) 和 SigLIP (Zhai et al. 2023 (https://arxiv.org/html/2608.18504#bib.bib24))，通常使用双编码器来对齐视觉和文本模态，并擅长传统的跨模态内容检索。近期，MMEB 和 MMEB-V2 (Jiang et al. 2024b (https://arxiv.org/html/2608.18504#bib.bib10); Meng et al. 2025 (https://arxiv.org/html/2608.18504#bib.bib15)) 引入了更具挑战性的统一检索基准。这些基准涵盖广泛的元任务，包括分类、问答、视觉定位、图像级和视频级检索以及视觉文档检索，对内容匹配和推理密集型相关性判断提出了更高要求。近期研究将多模态大语言模型 (MLLMs) (Wang et al. 2024 (https://arxiv.org/html/2608.18504#bib.bib19)) 应用于通用多模态嵌入，以实现复杂的指令感知检索。大多数基于 MLLM 的嵌入方法 (Jiang et al. 2024a (https://arxiv.org/html/2608.18504#bib.bib9); Zhang et al. 2025 (https://arxiv.org/html/2608.18504#bib.bib25); Lan et al. 2025 (https://arxiv.org/html/2608.18504#bib.bib11); Gu et al. 2025 (https://arxiv.org/html/2608.18504#bib.bib4)) 从特殊 token 的隐藏状态中提取全局表示，并通过对比学习进行优化。为了利用大语言模型的语义理解和推理能力，一些工作 (Cui et al. 2025 (https://arxiv.org/html/2608.18504#bib.bib3); Wang et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib20)) 将思维链 (CoT) (Wei et al. 2022 (https://arxiv.org/html/2608.18504#bib.bib21)) 引入多模态检索。这些方法生成文本解释，并从产生的隐藏状态中提取嵌入，使表示能够同时包含原始多模态输入和中间推理过程。

然而，通过审视 CoT 当前在多模态检索中的应用方式以及复杂的指令感知检索任务所需的能力，我们识别出两个被忽视的问题，如图 1 (https://arxiv.org/html/2608.18504#Sx1.F1) 所示。首先，现有的项目级 CoT 缺乏用于表示学习的成对感知判别证据。现有的基于 CoT 的嵌入方法 (Lan et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib12); Jiang et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib8); He et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib6)) 通常采用项目级自反思推理范式，模型独立描述查询或候选项。虽然这种 CoT 丰富了项目级语义，但它并未建模查询-候选的交互，也无法解释为何正样本匹配或难负样本失败。这对难样本尤其成问题，因为它们通常共享相似的视觉内容、文本语义或场景结构，仅在细微属性、关系、答案证据或任务意图上有所不同。此外，CoT 通常通过自回归交叉熵进行监督，并仅间接注入到嵌入 token 中，导致语言生成质量与嵌入可判别性之间不匹配。其次，通用多模态检索中的不同元任务需要不同的模型能力。具体来说，这些元任务从内容匹配任务（如图像检索、视频检索、片段检索和视觉定位），这些主要依赖全局查询-候选相似性，到推理密集型任务（如问答和分类），这些需要答案证据或特定类别条件。因此，单一的对比嵌入目标不足以建模任务特定的匹配证据和细粒度差异。相比之下，基于交互的判别排序 (Lin et al. 2025 (https://arxiv.org/html/2608.18504#bib.bib14); Gu et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib5); Li et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib13)) 明确建模成对交互和任务满足程度，为高效的嵌入检索补充了更强的语义判断能力。如图 4 (https://arxiv.org/html/2608.18504#Sx4.F4) $(a)$ 进一步证实，嵌入和排序之间的任务依赖性互补关系表明，通用多模态检索应将基于表示的检索与显式判别排序相结合。

为解决这些问题，我们提出了 **UMER**，一个用于通用多模态检索的**统一多模态嵌入与排序**框架。具体而言，我们设计了一个**成对感知判别 CoT** 范式，以正样本和难负样本的查询-候选对作为推理输入，鼓励模型显式比较匹配证据和差异证据，并产生确定性的排序判断。我们构建了一个统一的多任务框架，支持嵌入对比学习和排序判别学习。嵌入分支在度量空间中学习全局匹配，用于语料库级检索；而排序分支则通过成对感知推理来建模查询-候选交互，以应对复杂任务和难样本。为了协同优化这些能力，我们引入了**互补互蒸馏 (CMD)**，在嵌入和排序之间进行知识迁移。排序分支用判别知识细化嵌入空间，而嵌入分支则用全局语义结构稳定排序。在推理时，UMER 支持可调节预算的“嵌入-然后-CoT-排序”流水线。在面向效率的设置中，它通过一次前向传递提取嵌入，并通过向量索引进行大规模检索。在面向准确性或难样本设置中，它额外生成成对感知判别 CoT 和相关性分数，以进行显式推理和重排序。

主要贡献总结如下：

- • 我们提出了**成对感知判别推理**，并构建了成对感知的 CoT 和排序数据，从而能够显式建模正样本的匹配证据和难负样本的差异证据。
- • 我们提出了 UMER，一个统一的基于 MLLM 的框架，联合学习多模态嵌入和判别排序，以应对通用多模态检索的异构需求。
- • 我们在嵌入和排序之间引入了**互补互蒸馏**：判别排序细化嵌入空间，而全局嵌入结构稳定排序。
- • UMER 在 MMEB-V2 基准测试中，在相当的实验条件下取得了最先进的性能，展示了高效的向量检索以及通过显式推理和排序实现的准确性提升。

参照说明 图2：UMER 概览，一个统一的多模态嵌入与排序框架。$(a)$ 查询和候选输入首先通过掩码分支注意力独立编码以提取其嵌入，然后联合用于成对感知自回归推理，最后接一个排序 token。$(b)$ 多任务头支持度量嵌入学习、生成式 CoT 学习和判别排序学习。$(c)$ 统一的协同优化结合了多任务监督和互补互蒸馏，以联合改进嵌入和排序。

## 相关工作

### 多模态嵌入模型

通用多模态嵌入已从 CLIP、ALIGN 和 SigLIP (Radford et al. 2021 (https://arxiv.org/html/2608.18504#bib.bib17); Jia et al. 2021 (https://arxiv.org/html/2608.18504#bib.bib7); Zhai et al. 2023 (https://arxiv.org/html/2608.18504#bib.bib24)) 等双编码器发展到遵循任务指令并融合多模态输入的基于 MLLM 的编码器。VLM2Vec (Jiang et al. 2024b (https://arxiv.org/html/2608.18504#bib.bib10)) 和 VLM2Vec-V2 (Meng et al. 2025 (https://arxiv.org/html/2608.18504#bib.bib15)) 通过在 MMEB 和 MMEB-V2 基准上进行对比训练，将 MLLM 转换为嵌入器。UniME-V2 (Gu et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib5)) 通过 MLLM 作为判别器的难负样本挖掘和软标签对齐进一步提高了可判别性，Qwen3-VL-Embedding (Li et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib13)) 则通过大规模对比训练和重排序器蒸馏展示了强大的性能。尽管取得了这些进展，大多数基于 MLLM 的嵌入模型仍然依赖于批内对比目标，并且提供的关于为何一个查询应匹配某个候选而非另一个（尤其是对于具有细微语义差异的难负样本）的显式推理有限。

### 推理增强的多模态检索

推理增强的嵌入模型在提取表示之前生成中间解释。UME-R1 (Lan et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib12)) 将多模态嵌入表述为推理驱动的生成，其中 MLLM 根据输入自回归地生成解释，然后从推理后的隐藏状态中提取表示。Embed-RL (Jiang et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib8)) 进一步使用强化学习优化此类解释，利用检索导向的奖励来对齐推理轨迹与下游匹配信号。然而，显式的 CoT 推理会带来显著的解码成本，因为在每个嵌入生成之前都必须生成一个解释。为了降低这种开销，PLUME (He et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib6)) 在渐进式课程下用连续隐状态的短序列代替了语言化的 CoT，而 LaME (Wu et al. 2026b (https://arxiv.org/html/2608.18504#bib.bib23)) 通过信息瓶颈和可学习的推理 token 执行隐式推理。尽管效率有所提高，但这些方法仍然是项目级的，独立地丰富查询和候选表示，而不是显式地建模它们之间的匹配和差异证据。

### 多模态重排序模型

MLLM 重排序器联合编码查询-候选对，以改进初始检索后的细粒度相关性估计。RagVL (Chen et al. 2024 (https://arxiv.org/html/2608.18504#bib.bib2)) 表明，在检索增强生成中，MLLM 可以作为强大的多模态重排序器，通过指令微调模型来过滤检索到的图像。UniME-V2-Reranker (Gu et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib5)) 在挖掘的难负样本上训练重排序模型，采用成对和列表式优化。Qwen3-VL-Reranker (Li et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib13)) 使用跨编码器架构执行细粒度相关性估计，旨在两阶段检索流水线中与 Qwen3-VL-Embedding 互补。现有的重排序器能捕捉细粒度的查询-候选交互，但它们通常作为独立的第二阶段模块进行训练和部署。因此，排序知识只能通过离线目标（如软标签或挖掘的伪负样本）传递到嵌入。UMER 则在一个 MLLM 中统一了嵌入、成对感知判别推理和排序，让两个分支共享相同的骨干网络并进行端到端协同优化。

## 方法论

方法概述。给定一个指令感知的多模态查询 $q$ 和一个多模态候选库 $\mathcal{C}$，通用多模态检索根据候选与查询指令的相关性对 $\mathcal{C}$ 中的候选进行排序。如图 2 (https://arxiv.org/html/2608.18504#Sx1.F2) 所示，UMER 在一个共享的 MLLM 中联合学习两个互补函数：一个可独立计算的嵌入函数，用于语料库级候选检索；一个成对感知的排序函数，用于显式验证。这两个函数共享 MLLM 骨干网络，同时使用注意力掩码和任务特定 token 来维护不同的信息流。以下小节将介绍统一架构、成对感知 CoT 数据构建、互补互蒸馏以及训练和推理流程。

### 统一嵌入与排序架构

嵌入编码阶段。令 $Q$ 和 $C$ 分别表示标记化的多模态查询和候选项。我们将相关候选记为 $c^+$，语义混淆但不相关的候选记为 $c^-$。我们在每个输入后附加 $M$ 个可学习的嵌入 token，查询的为 $E_q=\{q_1,\ldots,q_M\}$，候选的为 $E_c=\{c_1,\ldots,c_M\}$，这遵循近期 MLLM 检索器使用专用 token 作为显式聚合接口的做法 (Sun et al. 2026 (https://arxiv.org/html/2608.18504#bib.bib18))。如图 2 (https://arxiv.org/html/2608.18504#Sx1.F2) $(a)$ 所示，在分支级注意力掩码下，$E_q$ 仅关注 $Q$，$E_c$ 仅关注 $C$。这允许打包训练，同时保留了语料库索引和近似最近邻搜索所需的独立查询和候选编码。我们对 $M$ 个嵌入 token 状态进行均值池化和 $\ell_2$ 归一化：

$$e_x = \mathrm{Norm}\!\left(\frac{1}{M}\sum_{k=1}^{M}h_{x_k}\right),\qquad x\in\{q,c\}. \tag{1}$$

其中 $h_{x_k}$ 表示第 $k$ 个嵌入 token 对于 $x=q$（查询）或...