检索失败在哪里？评估农业咨询中的RAG架构

# 检索失败在何处？评估农业咨询中的RAG架构
来源：https://arxiv.org/html/2608.14886
## 检索失败在何处？评估农业咨询中的RAG架构
会议：;CCS：信息检索系统 检索模型与排序CCS：信息检索系统 检索结果评估CCS：信息检索系统 问答系统

;; © none

###### 摘要\。

RAG系统中的检索质量通常以单一聚合分数报告，这可能掩盖了查询类型和语言条件之间的巨大差异。我们在孟加拉语农业咨询中研究了这个问题，其中农民查询通常是口语化的，而官方咨询文件则使用正式的科学术语。我们构建了一个由1,000个查询和2,882个知识节点组成的测试集，这些知识节点从284份孟加拉国官方农业出版物中提取，并用它来评估五种检索架构和六种嵌入模型在三种受控语言条件下的表现。

结果表明，没有一种单一的检索方法始终表现最佳。对于原生孟加拉语查询，BM25是最强的单一检索器（R@10=0\.506），而混合RRF达到了最高的整体R@10分数0\.539。然而，密集检索性能因查询类型而异：在口语化的农民查询中R@10为0\.093，而在正式的安全查询中则高达0\.970。在不同语言条件下，BM25的R@10从孟加拉语查询的0\.506下降到英语查询与孟加拉语语料库匹配时的0\.004，而密集检索仅从0\.464下降到0\.425。我们还发现，嵌入任务配置和段落长度各自可以将报告的R@10改变七倍，这与架构无关。这些结果表明，为什么低资源RAG评估应按语言条件和查询类型报告性能，而不是仅依赖聚合分数。数据集和评估脚本可在https://huggingface.co/datasets/RaiyanKhaan/AgriTrust-RAG获取。

###### 关键词：

孟加拉语，低资源检索，RAG，农业咨询，基准测试，密集检索，BM25，混合融合，跨语言检索，多语言评估，嵌入配置

## 1\.引言

### 1\.1\.动机与差距

检索增强生成（RAG）系统越来越多地部署在特定领域环境中，但几乎只在英语基准上进行评估。孟加拉语农业咨询是一个有用的测试案例：拥有2.37亿使用者（Eberhard等，2024 (https://arxiv.org/html/2608.14886#bib.bib3)），咨询查询使用口语化的农民语言，而权威源文件使用正式的科学孟加拉语。这种语域差距以相反的方式挑战词汇检索和密集检索，且利害关系具体：基准测试的1,000个查询中有200个涵盖关键安全内容（农药剂量、非标签化学使用），检索失败具有现实世界的后果。

现有的检索基准测试（BEIR (Thakur等，2021 (https://arxiv.org/html/2608.14886#bib.bib21)），CRAG (Yang等，2024 (https://arxiv.org/html/2608.14886#bib.bib24)））仅限英语；多语言集合如MIRACL (Zhang等，2023 (https://arxiv.org/html/2608.14886#bib.bib28)）和Mr. TyDi (Zhang等，2021 (https://arxiv.org/html/2608.14886#bib.bib27)）并未针对农业咨询或查询语域变化。先前的孟加拉语RAG系统在检索前翻译查询 (Hossain等，2026 (https://arxiv.org/html/2608.14886#bib.bib7)）或未隔离检索层 (Nawal等，2024 (https://arxiv.org/html/2608.14886#bib.bib13)），而最接近的农业资源 (Reza等，2026 (https://arxiv.org/html/2608.14886#bib.bib16)）并非一个具有来源级黄金标签或受控跨语言条件的纯检索基准。

### 1\.2\.基准测试集

与现有将文本块与聚合分数配对的检索基准不同，我们的基准设计围绕六个属性：可追溯的检索单元、结构化的规范节点而非原始文本、完整的文档可追溯性、受控的多语言协议、农业领域基础，以及覆盖农民查询和正式查询的语域感知评估。该基准包括：(i) 来自五个孟加拉国政府和研究机构的284份源PDF；(ii) 2,882个知识节点（1,022个图像链接），每个都是一个可追溯的检索单元；(iii) 一个包含19,768个实体和17,501个事实三元组的知识图谱；(iv) 1,000个查询（900个可回答），涵盖三个类别（农民锚定、知识图谱基础、安全），其黄金节点映射由三个独立标注者验证（Fleiss’κ=0\.72）；以及 (v) 一个评估工具，实现严格的文档级黄金匹配、bootstrap置信区间和嵌入API配置审计。

在此集合上的评估揭示了四个关键发现，摘要中已总结，第5节 (https://arxiv.org/html/2608.14886#S5) 中有完整阐述，并在第6节 (https://arxiv.org/html/2608.14886#S6) 中对这些模式进行分析。

### 1\.3\.贡献

1. 1\.基准测试集。一个用于低资源孟加拉语农业检索的严格测试集，涵盖284份权威文档、2,882个知识节点、19,768个实体、17,501个三元组和1,000个带注释的查询（可在https://huggingface.co/datasets/RaiyanKhaan/AgriTrust-RAG获取）。
2. 2\.规范节点表示。一个分层的检索单元，通过有界、模式引导的提取，统一自然语言内容、结构化事实和确定性来源元数据。
3. 3\.评估工具和审计协议。一个可复现的框架，实现严格的黄金匹配、bootstrap置信区间和嵌入API配置审计。
4. 4\.通过系统诊断进行基准验证。跨五种架构、六种嵌入模型和三种语言条件的评估表明，基准的语域和文字分层设计揭示了在聚合、单条件下评估中不可见的失败模式。

## 2\.相关工作

### 2\.1\.IR和RAG评估基准

标准RAG评估基准如BEIR (Thakur等，2021 (https://arxiv.org/html/2608.14886#bib.bib21)）、RAGBench (Friel等，2024 (https://arxiv.org/html/2608.14886#bib.bib4)）、GaRAGe (Sorodoc等，2025 (https://arxiv.org/html/2608.14886#bib.bib19)）和CRAG (Yang等，2024 (https://arxiv.org/html/2608.14886#bib.bib24)）几乎完全在英语中构建；最近的扩展如T2-RAGBench (Strich等，2026 (https://arxiv.org/html/2608.14886#bib.bib20)）针对金融文档中的文本和表格检索，而非我们所处理的来源基础、低资源领域咨询设置。多语言检索基准如MIRACL (Zhang等，2023 (https://arxiv.org/html/2608.14886#bib.bib28)）（18种语言）和Mr. TyDi (Zhang等，2021 (https://arxiv.org/html/2608.14886#bib.bib27)）将评估扩展到多种语言，但没有一个能在低资源农业环境中进行受控的架构隔离检索评估和来源基础。标准基准通常强调聚合准确度分数，掩盖了跨查询语域的子组失败，这一局限性被关于分层检索评估的并行工作所强调 (Klearman等，2026 (https://arxiv.org/html/2608.14886#bib.bib11)）。

### 2\.2\.低资源语言中的检索

密集检索通常由于分词碎片化和语言偏差而在高资源语言之外性能下降 (Hong等，2026 (https://arxiv.org/html/2608.14886#bib.bib6); Lee等，2026 (https://arxiv.org/html/2608.14886#bib.bib12); Yeshambel等，2025 (https://arxiv.org/html/2608.14886#bib.bib25)）。跨语言DPR显示出适度增益 (Wu等，2024 (https://arxiv.org/html/2608.14886#bib.bib23)），而像ColBERT (Khattab和Zaharia，2020 (https://arxiv.org/html/2608.14886#bib.bib10)）这样的多向量后期交互模型改善了细粒度令牌匹配。

在农业RAG中，KinyaColBERT (Nzeyimana和Rubungo，2025 (https://arxiv.org/html/2608.14886#bib.bib14)）将卢旺达语的低准确率归因于词汇覆盖而非架构选择。查询-文档词汇不匹配是跨领域既定的检索挑战，从一般人类系统通信 (Furnas等，1987 (https://arxiv.org/html/2608.14886#bib.bib5)）和跨类型检索 (Jurczyk和Choi，2017 (https://arxiv.org/html/2608.14886#bib.bib8)）到医疗消费者健康搜索 (Zeng和Tse，2006 (https://arxiv.org/html/2608.14886#bib.bib26)），外行查询经常与他们需要检索的文档正式词汇不一致。

在孟加拉语中，BenLLM-Eval (Kabir等，2024 (https://arxiv.org/html/2608.14886#bib.bib9)）和TigerLLM (Raihan和Zampieri，2025 (https://arxiv.org/html/2608.14886#bib.bib15)）评估LLM能力，而KrishokBondhu (Ameen等，2026 (https://arxiv.org/html/2608.14886#bib.bib2)）自动化语音咨询，Farmer.Chat (Singh等，2024 (https://arxiv.org/html/2608.14886#bib.bib18)）将AI驱动的咨询扩展到多种语言的小农。与我们最接近的设置是我们自己的先前工作 (Reza等，2026 (https://arxiv.org/html/2608.14886#bib.bib16)）提供了一个QA生成数据集，而Hossain等 (Hossain等，2026 (https://arxiv.org/html/2608.14886#bib.bib7)）在检索前翻译查询。与这些以生成为重点的工作不同，我们的工作建立了一个纯检索基准，以在受控语域和语言变化下隔离检索器架构性能。

如表1 (https://arxiv.org/html/2608.14886#S2.T1) 所示，我们的基准是首批将低资源语言、架构隔离评估、纯检索测量、受控跨语言条件和来源基础黄金标签结合在一个设计中的基准之一。例如，虽然MIRACL和Mr. TyDi提供了多样化的多语言数据集，但它们的标准评估并未在受控的语言内语域变化中隔离检索架构（标记 ✗ 表示架构隔离）。

表1\.我们的基准与最接近的先前基准和系统的定位。\低资源语言 = 针对低资源语言；架构隔离 = 在生成之外评估多个检索架构；纯检索 = 纯检索基准，不需要下游QA/生成层；跨语言 = 包括受控的跨语言查询条件；来源基础 = 黄金标签基于文档级来源元数据。

## 3\.基准测试集

我们围绕三个要求构建基准 (图1 (https://arxiv.org/html/2608.14886#acmlabel1)）：(i) 文档级来源，使每个检索决策追溯到单一来源；(ii) 知识图谱基础，使查询基于结构化事实而非自由文本进行验证；(iii) 节点质量和查询-文档映射的独立验证，而非接受单次自动化过程的黄金标签。

### 3\.1\.来源材料

我们从五个政府和研究机构（BRRI, IRRI, DAE, SRDI, MoA）收集了284份孟加拉语农业PDF。农业部（MoA）及其推广部门（DAE）通过国家农业手册共同贡献了约65%的语料库，而专业研究所（BRRI, IRRI, SRDI）提供有针对性的诊断手册。许多源文档包含扫描页面、复杂布局、表格和嵌入图表。因此，我们使用基于Mistral OCR的布局保留OCR管道将每个PDF转换为页面级Markdown，保留文档结构和页面来源，以便后续构建节点。生成的Markdown语料库（2,680个章节级段落）仅用作中间预处理产物。虽然其中73%的原始文本源自我们先前的QA基准 (Reza等，2026 (https://arxiv.org/html/2608.14886#bib.bib16)），但这项工作的主要贡献是将该文本重组为一个新颖的、基于来源的知识图谱（知识图谱实体和三元组构建、节点模式和全部900个查询的黄金映射100%是新的；只有底层文本和口语查询是继承的），建立了一个专门的检索基准，而先前的工作将检索留待未来评估。

语料库多样性。为确保跨农业长尾的稳健检索评估，提取的语料库涵盖了25年的出版物（1999年至2024年），包括五种主要文档类型：国家农业手册、诊断手册、农药白名单、推荐卡和推广指南。生成的实体图谱明确索引了915种独特作物（涵盖园艺、农林业和水产养殖）、704种疾病变体和2,729种化学或农药实体。

### 3\.2\.规范知识节点构建

每个知识节点是一个保留来源的检索单元，跨越三个层：自然语言内容、结构化农业事实和来源（来源、页面、组织）。生成是有界的，而非开放式的：提取仅限于源文本中明确存在的信息，来源字段是确定性注入的，而非模型生成的。一个代表性节点见附录B (https://arxiv.org/html/2608.14886#A2)；完整的提取和生成提示在附录D (https://arxiv.org/html/2608.14886#A4) 中详述。

确定性来源注入。引用元数据（出版商、源文档、页码范围）绝非LLM生成：生成提示在结构上禁止模型产生引用字段，这些字段由单独的确定性脚本直接从Markdown追踪注释中注入。这将来源与语义生成解耦，使得引用幻觉（捏造页码或来源名称）在结构上不可能，而不仅仅是不太可能。一个单独的后验证步骤将每个提取的作物和实体提及与源Markdown文本进行交叉检查，标记任何其实体未出现在其引用段落中的节点以进行修正。

分块。我们将文本分割成2,882个主题一致的知识节点，每个节点对应一个单一的农业概念。节点平均长度≈1,180个字符，反映了自然的概念边界而非固定的令牌窗口，并分布在13个类别的农业分类中，从品种（695个节点）和栽培实践（570个）到长尾类别如食品安全（18个）。

实体和三元组提取。我们通过模式引导、有界的开放信息提取提取了19,768个实体（每个节点6.9个）和17,501个事实三元组。每个节点的实体覆盖率超过96%。

基于来源的自动验证。节点内容（摘要、症状、管理、实体）由Gemini-3.1-Flash-Lite根据源Markdown生成结构化JSON模式。然后每个生成的节点由另一个独立的模型GPT-5-Nano进行验证，该模型接收节点及其真实来源段落，并根据四个标准对这对进行评分（0-5）：忠实性（每个主张可追溯至源文本）、完整性、幻觉（源文本中不存在的未支持内容）和作物/实体相关性。使用单独的模型进行生成和验证减少了自我确认偏差。因为验证器看到的是来源段落，而不仅仅是孤立的节点，其检查仅限于事实一致性，永远不会成为开放式的质量评级。在整个图谱中，实体覆盖率为96.1%（2,771个节点中的...）