论文页面 - MLAIRE：多语言语言感知信息检索评估协议

来源：https://huggingface.co/papers/2605.07249

摘要

多语言信息检索评估协议 MLAIRE 将语义检索准确性与查询语言偏好分离，以更好地评估混合语言语料库中的检索实用性。

多语言信息检索 (https://huggingface.co/papers?q=Multilingual%20Information%20Retrieval) 在实际搜索场景中日益重要，用户会在混合语言语料库中发出查询。现有评估主要奖励语言无关的语义相关性，同等对待不同语言的相关段落。然而，检索实用性还取决于检索段落的语言：用户可能更偏好能够阅读和验证的查询语言结果，而查询-段落语言不匹配可能会使检索增强生成 (https://huggingface.co/papers?q=Retrieval-Augmented%20Generation) 系统中的下游依赖和答案验证变得复杂。为了评估这一语言感知维度，我们引入了 MLAIRE，一种多语言语言感知信息检索评估协议，该协议将跨语言语义检索 (https://huggingface.co/papers?q=cross-lingual%20semantic%20retrieval) 与查询语言偏好 (https://huggingface.co/papers?q=query-language%20preference) 分离开来。MLAIRE 构建了包含多种语言平行段落的受控池，从而在存在等价翻译时能够测量语义检索准确性和查询语言偏好 (https://huggingface.co/papers?q=query-language%20preference)。我们提出了语言感知指标 (https://huggingface.co/papers?q=language-aware%20metrics)，包括语言偏好率 (https://huggingface.co/papers?q=Language%20Preference%20Rate) (LPR) 和 Lang-nDCG (https://huggingface.co/papers?q=Lang-nDCG)，以及一个将语义和查询语言偏好 (https://huggingface.co/papers?q=query-language%20preference) 失败分开的四维分解。评估了 31 个稠密、稀疏和延迟交互检索器 (https://huggingface.co/papers?q=late-interaction%20retrievers) 后，我们表明标准指标掩盖了不同行为：语义强大的检索器可能以非查询语言返回正确内容，而查询语言偏好 (https://huggingface.co/papers?q=query-language%20preference) 更强的检索器可能检索到语义相关性较低的段落。

查看 arXiv 页面 (https://arxiv.org/abs/2605.07249)查看 PDF (https://arxiv.org/pdf/2605.07249)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2605.07249)

在你的 agent 中获取本文：

hf papers read 2605\.07249

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型0

没有模型链接本文

请在模型 README.md 中引用 arxiv.org/abs/2605.07249 以从本页链接。

引用本文的数据集0

没有数据集链接本文

请在数据集 README.md 中引用 arxiv.org/abs/2605.07249 以从本页链接。

引用本文的 Spaces0

没有 Space 链接本文

请在 Space README.md 中引用 arxiv.org/abs/2605.07249 以从本页链接。

包含本文的收藏0

没有收藏包含本文

将本文添加到一个收藏 (https://huggingface.co/new-collection) 以从本页链接。