multimodal-retrieval

标签

Cards List
#multimodal-retrieval

DEO:用于否定感知检索的免训练直接嵌入优化

arXiv cs.CL ↗ · 6小时前 缓存

该论文提出了直接嵌入优化(DEO),这是一种无需训练的方法,将查询分解为肯定和否定部分,并通过对比目标优化查询嵌入,以实现具备否定感知能力的文本和多模态检索。该方法在 NegConstraint 上优于基线方法,且 Recall@5 高于 OpenAI CLIP。

0 人收藏 0 人点赞
#multimodal-retrieval

搜索帕累托前沿:面向异构科学模态的多目标检索

arXiv cs.AI ↗ · 6小时前 缓存

本文比较了多模态基础模型嵌入与通过基于帕累托的多目标优化对分别训练的模态嵌入进行后期融合这两种方法在跨模态星系检索中的表现,发现多目标方法保留了各模态特有的结构,且检索到的近邻在原始数据空间中的距离缩短了8%。

0 人收藏 0 人点赞
#multimodal-retrieval

卡在洗牌上:视觉-语言模型中的属性-物体绑定问题

Hugging Face Daily Papers ↗ · 2026-10-15 缓存

该论文提出了SABER——一个受控基准测试,揭示了多模态检索器中普遍存在的属性-物体绑定失败问题,并证明仅在合成属性绑定文本上对基于MLLM的嵌入模型进行微调,即可在SABER上取得SOTA结果,同时在无需图像监督的情况下提升跨模态检索和图像-图像检索性能。

0 人收藏 0 人点赞
#multimodal-retrieval

您似乎只提供了标题 **Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers**,没有附上文章正文。 请粘贴需要翻译的 markdown 内容(正文、摘要、章节等),我会按规则完整翻译成简体中文,保留标题层级、列表、强调、行内代码和链接,并将模型名、公司名、产品名等专有名词保持英文原样。 作为参考,标题可先译为: # 文本中的混乱:揭示混合模态检索器中的模态偏好 ("Mixed-Modality Retrievers" 也可按上下文译作"混合模态召回模型"或"多模态混合检索器",具体取决于全文用词风格——请提供正文以便统一术语。)

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

该论文系统研究了混合模态检索器中的模态偏好问题,发现无关文本比无关图像对检索性能的干扰更为严重(即 "Chaos in the Text" 现象),并提出了 Trident 方法,通过 Multi-Positive View InfoNCE 联合优化文本视图、图像视图和融合视图,从而缓解这一偏差。

0 人收藏 0 人点赞
#multimodal-retrieval

SnapBench:为移动交互的即拍即问多模态检索建立基准测试

Hugging Face Daily Papers ↗ · 2026-08-30 缓存

SnapBench引入了一个配对干扰基准测试,用于移动端稳健的即拍即问多模态检索,揭示图像噪声是关键降级因素,并提出一种自适应融合方法以增强模态可靠性。

0 人收藏 0 人点赞
#multimodal-retrieval

用于协调异构语音和文本检索器的重排序器

arXiv cs.CL ↗ · 2026-08-28 缓存

本文提出了STeReO,一个用于协调异构语音和文本检索器的重排序器,通过改善多模态场景中的证据选择来增强检索增强生成(RAG)系统。

0 人收藏 0 人点赞
#multimodal-retrieval

UMER:通过配对感知判别推理统一嵌入与排序以实现通用多模态检索

arXiv cs.AI ↗ · 2026-08-20 缓存

UMER 引入了一个统一的多模态检索框架,通过配对感知判别推理结合嵌入与排序,在 MMEB-V2 基准测试中达到了最先进的性能。

0 人收藏 0 人点赞
#multimodal-retrieval

从失败中学习:基于硬负样本的检索中心思维链用于统一多模态检索

Hugging Face Daily Papers ↗ · 2026-08-06 缓存

本文提出了UniME-R1,一种用于统一多模态检索的嵌入器-顾问框架,该框架基于检索反馈生成检索中心思维链(RC-CoT),通过从硬负样本中学习来提升检索性能。

0 人收藏 0 人点赞
#multimodal-retrieval

贝叶斯数据重加权提升基于知识的视觉问答中的多模态检索

arXiv cs.LG ↗ · 2026-08-05 缓存

本文介绍了贝叶斯数据重加权,一种概率框架,自适应地对查询-文档对进行加权,以减轻对比训练中的假阴性问题,从而在多个基于知识的VQA基准上提升多模态检索性能。

0 人收藏 0 人点赞
#multimodal-retrieval

无需坐标或区域标签的视觉文档理解中的证据归因

Hugging Face Daily Papers ↗ · 2026-07-27 缓存

提出了一种用于文档理解中视觉证据归因的语言接口,使用逐字引用替代基于坐标的边界框,在CiteVQA上实现了显著更高的证据召回率和更低的归因幻觉。

0 人收藏 0 人点赞
#multimodal-retrieval

语义增强的检索增强时间序列预测

arXiv cs.AI ↗ · 2026-06-16 缓存

提出SERAF,一种用于时间序列预测的多模态检索增强框架,该框架同时利用数值相似性和自生成的文本描述来检索历史模式,从而改善非平稳条件下的预测。在七个真实世界数据集上的实验表明,其效果优于最先进的基线模型。

0 人收藏 0 人点赞
#multimodal-retrieval

多模态长对话中的细粒度片段检索

arXiv cs.CL ↗ · 2026-06-04 缓存

本文提出了细粒度片段检索(FFR)这一新任务,旨在长对话中定位语义连贯的多模态片段(文本与图像)。作者提出了基于生成的检索模型 F2RVLM(通过强化学习训练)和两阶段检索系统 FFRS,并构建了新的评测数据集 MLDR。

0 人收藏 0 人点赞
#multimodal-retrieval

你的嵌入模型比你想象的更聪明

Hugging Face Daily Papers ↗ · 2026-05-24 缓存

SMART是一个框架,能够解锁单向量模型中的潜在多向量能力,用于多模态检索,通过对比训练和后期交互推理,在降低计算成本的同时提升最先进的性能。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈