CORE: 通过重排序器蒸馏改进MLLM嵌入中的组合推理

Hugging Face Daily Papers 论文
compositional-reasoning mllm embedding reranker-distillation rank-kl contrastive-learning

摘要

CORE引入一种蒸馏方法，通过Rank-KL目标将组合排序判断从重排序器传输到嵌入模型，从而增强跨基准的组合检索性能，同时不损害标准任务。

基于MLLM的嵌入模型在组合检索方面仍然有限，经常无法区分包含相同概念但属性-对象绑定不同的场景。然而，相同的骨干网络在用作交叉注意力重排序器时可以解决这些区别，这促使我们将其组合判断蒸馏到嵌入模型中。我们提出CORE，它合成跨越五个组合匹配级别的候选列表，并引入Rank-KL目标，训练嵌入模型以重现重排序器的细粒度排序。我们进一步引入分级评估协议，并在相同的数据和调整预算下比较对比学习、成对CoSENT和列表式Rank-KL。我们的比较表明，CoSENT和Rank-KL都比对比学习更有效地利用多层监督，其中Rank-KL实现了最强的整体性能。在三个组合推理基准（COLA、SUGARCREPE++、NEGBENCH）上，CORE-RERANKER-8B达到82.7%的总平均分，比Jina-Reranker高出10.7分，而CORE-EMBED-8B在所有评估的嵌入模型中达到了最佳总平均分（0.666）。这些改进转移到了MCMR基准上，而没有牺牲在COCO和Flickr30K上的检索性能。
查看原文
查看缓存全文

缓存时间: 2026/09/04 03:56

论文详情 - CORE：通过重排序器蒸馏提升多模态大语言模型嵌入的组合推理能力

来源：https://huggingface.co/papers/2609.04083

摘要

CORE通过合成多层级候选样本和使用排序KL散度目标函数，将跨注意力重排序器的组合排序判断蒸馏到嵌入模型中，从而在保持标准性能的同时提升了组合检索能力。

基于多模态大语言模型的嵌入模型在组合检索方面仍存在局限，往往难以区分包含相同概念但属性-对象绑定关系不同的场景。然而，同一主干网络在用作跨注意力重排序器时却能准确区分这些差异，这启发我们将组合判断蒸馏到嵌入模型中。我们提出CORE方法，通过生成涵盖五个组合匹配层级的候选列表，并引入排序KL散度目标函数，训练嵌入模型复现重排序器的细粒度排序结果。我们还设计了分级评估方案，在相同数据与调参预算下对比了对比学习、成对CoSENT和列表式排序KL方法。比较结果显示，CoSENT和排序KL方法比对比学习更有效地利用了多层级监督信号，其中排序KL实现了最优的整体性能。在三个组合推理基准测试中，CORE-RERANKER-8B取得了82.7%的总平均分，比Jina-Reranker高出10.7个百分点，而CORE-EMBED-8B在所有评估的嵌入模型中取得了最佳总平均分（0.666）。性能提升可迁移至MCMR基准测试，且在COCO和Flickr30K上的检索性能未受影响。

查看arXiv页面 (https://arxiv.org/abs/2609.04083) 查看PDF (https://arxiv.org/pdf/2609.04083) 加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.04083)

通过工具获取论文： hf papers read 2609.04083

未安装最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 4个

Alibaba-NLP/core-reranker-2b 特征提取• 2B• 约2小时前更新 • 1 (https://huggingface.co/Alibaba-NLP/core-reranker-2b)

Alibaba-NLP/core-emb-2b 特征提取• 约2小时前更新 • 1 (https://huggingface.co/Alibaba-NLP/core-emb-2b)

Alibaba-NLP/core-reranker-8b 特征提取• 9B• 约2小时前更新 (https://huggingface.co/Alibaba-NLP/core-reranker-8b)

Alibaba-NLP/core-emb-8b 特征提取• 约2小时前更新 (https://huggingface.co/Alibaba-NLP/core-emb-8b)

引用本文的数据集 0个

无数据集关联此论文 在数据集的README.md中引用 arxiv.org/abs/2609.04083 即可从本页面关联。

引用本文的空间 0个

无空间关联此论文 在空间的README.md中引用 arxiv.org/abs/2609.04083 即可从本页面关联。

包含本文的收藏集 1个

相似文章

DecisionRank：面向决策模型重排序器的同策略蒸馏

arXiv cs.CL

Meta 的 DecisionRank 论文提出了项目空间中的同策略蒸馏方法，将生成式大语言模型教师的排序知识迁移到单令牌决策模型重排序器中，在 TREC DL、BEIR 和 BRIGHT 上取得了最先进的结果，同时运行速度最高可达对应生成式模型的 24.5 倍，并以仅 17 亿参数超越了其 270 亿参数的教师模型。

KaLM-Reranker-V1：快速而非延迟交互的压缩文档重排序

Hugging Face Daily Papers

KaLM-Reranker-V1 是一种快速重排序模型，通过采用编码器-解码器架构，结合 Matryoshka 嵌入池化和交叉注意力机制，将查询与段落计算解耦，在 BEIR 上实现了最先进的重排序性能，并在多语言基准测试中取得了具有竞争力的结果。