更健康的LLMs：面向公共卫生问答的检索增强生成

# 更健康的 LLM：面向公共卫生问答的检索增强生成
来源：https://arxiv.org/html/2607.06641
Felix Feldman & Joshua Harris & Timothy Laurence & Leo Loman & Ollie Higgins & Fan Grayson & Poonam Soma & Bethany Pace\-Bonello & Michael Borowitz & Toby Nonnenmacher

###### 摘要

大型语言模型（LLM）在医学问答基准测试上取得了令人瞩目的成果，但其在公共卫生领域的应用受到幻觉和官方指南快速演变的制约。检索增强生成（RAG）通过将回答明确地锚定在一个持续维护的语料库中，来缓解这些风险，但端到端的性能关键取决于检索配置以及超越多选题格式的评估。我们将 PubHealthBench（一个源自英国政府公共卫生指南、包含 7,929 个问题的问答基准）扩展到检索增强设置中，并系统地评估了检索和生成的选择。我们比较了多种嵌入模型和语料库变体下的密集检索、稀疏检索和混合检索，结果表明混合检索能持续提高召回率和排序质量，其中块长度和主题与排序性能相互作用。提供检索到的上下文显著提高了多种 LLM 的多选题准确率，使得较小的开放权重模型能够匹配甚至超越未使用检索的较大模型的性能，这一提升主要得益于检索质量和精心的上下文选择。为了评估更逼真的自由形式回答，我们引入了一个基于评分标准的 LLM 作为评判者的框架，涵盖忠实度、完整性、清晰度和事实一致性，并针对双重人工标注进行了验证。评判者与人工的一致程度在忠实度和完整性上最强，而事实一致性和清晰度则较难可靠复现，这提醒我们在大规模解读这些维度时需谨慎。总体而言，我们的结果强调了检索是可靠公共卫生问答的主要杠杆，并为构建和评估基于官方指南的 RAG 系统提供了实用指导。

## 1 引言

人工智能（AI）在公共卫生领域扮演着越来越重要的角色，从回答健康问题的聊天机器人[24 (https://arxiv.org/html/2607.06641#bib.bib3)] 到为公共卫生专业人员提供的决策支持工具[15 (https://arxiv.org/html/2607.06641#bib.bib80)]。大型语言模型（LLM）已经能够基于大量训练数据生成连贯的答案，在某些情况下，其在医学问答任务上的表现接近专家水平[50 (https://arxiv.org/html/2607.06641#bib.bib61)]。这一潜力激发了在公共卫生领域部署 LLM 的兴趣，既作为面向公众的工具，也作为公共卫生专业人员的决策辅助手段。与许多临床决策支持场景（工具旨在在护理点为个体患者提供决策支持）不同，公共卫生指南是针对人群的，通常是预防性的，并且与随着证据和政策演变而更新的官方建议紧密相关[51 (https://arxiv.org/html/2607.06641#bib.bib82),16 (https://arxiv.org/html/2607.06641#bib.bib83),58 (https://arxiv.org/html/2607.06641#bib.bib84)]。然而，LLM 可能会产生幻觉或提供过时的建议，这在公共卫生领域可能产生严重后果：即使是微小的不准确也可能损害个体的健康决策[59 (https://arxiv.org/html/2607.06641#bib.bib85)]，并且在大规模应用时，可能会在人群中引发不适当或危险的行为[5 (https://arxiv.org/html/2607.06641#bib.bib86)]。因此，确保 LLM 响应可靠且最新，是安全采用 AI 进行公共卫生实践的前提。

提高 LLM 性能和可靠性的一种既定方法是检索增强生成（RAG）[34 (https://arxiv.org/html/2607.06641#bib.bib72)]。在 RAG 系统中，LLM 与一个外部检索组件耦合，该组件从知识库中选择相关文档；然后，模型基于这个检索到的上下文来生成输出，而非仅仅依赖其参数化记忆[20 (https://arxiv.org/html/2607.06641#bib.bib73),47 (https://arxiv.org/html/2607.06641#bib.bib33)]。通过引入检索，LLM 可以将其有效知识扩展到冻结参数中存储的内容之外，从而减轻幻觉并减少过时训练数据的影响[39 (https://arxiv.org/html/2607.06641#bib.bib65)]。在公共卫生等高风险领域，提供基于可信证据的答案的能力尤为宝贵。研究表明，与仅依赖内部知识的 LLM 相比，RAG 系统在医学和基于指南的问答等知识密集型任务上能显著提升性能 [48 (https://arxiv.org/html/2607.06641#bib.bib6),53 (https://arxiv.org/html/2607.06641#bib.bib34),19 (https://arxiv.org/html/2607.06641#bib.bib68)]。

随着 LLM 系统在涉及公共卫生或医疗查询的用例中被越来越多地采用，衡量其在反映公众和专业人员真实信息需求的任务上的有效性至关重要 [63 (https://arxiv.org/html/2607.06641#bib.bib5),54 (https://arxiv.org/html/2607.06641#bib.bib4),2 (https://arxiv.org/html/2607.06641#bib.bib62)]。为此，已经开发了各种医学问答（QA）基准，尽管大多数现有基准侧重于临床或生物医学问题，而非公共卫生指南。为了理解英国政府公共卫生信息中的这个问题，Harris 等人在引入 PubHealthBench[24 (https://arxiv.org/html/2607.06641#bib.bib3)]（一个包含近 8,000 个源自官方英国公共卫生指南的问题的问答基准）之前，先在一系列公共卫生分类和抽取任务上评估了 LLM[25 (https://arxiv.org/html/2607.06641#bib.bib81)]。

在这项后续工作中，我们探索 RAG 作为提高 LLM 在公共卫生问答上性能的解决方案。我们扩展了基准设置，允许模型从生成问题所依据的同一英国公共卫生指南语料库中检索信息[24 (https://arxiv.org/html/2607.06641#bib.bib3)]。具体来说，我们利用 PubHealthBench 来探讨四个问题：(1) 不同的检索设置（涵盖嵌入模型和系统设计选择）在识别给定问题的公共卫生指南中最相关块方面的效果如何？(2) 引入受信任文档的检索是否能提高 LLM 在多项选择问答（MCQA）上的性能？这如何取决于检索质量和上下文配置？(3) 观察到的 MCQA 改进在多大程度上可以推广到自由形式回答？(4) 我们能否开发一个自动评估框架来评估 LLM 响应，使其与领域专家的判断相一致？通过回答这些问题，我们旨在展示将 LLM 与公共卫生指南语料库结合如何在知识密集型任务上产生更可靠、更明智的响应。

## 2 相关工作

### 2.1 检索增强生成基础

RAG 将外部知识检索与大型语言模型（LLM）生成相结合，以提高事实准确性并减轻幻觉[34 (https://arxiv.org/html/2607.06641#bib.bib72),48 (https://arxiv.org/html/2607.06641#bib.bib6)]。例如，RETRO 模型证明，将较小的生成器与大型检索数据存储配对，可以匹配更大的纯 LLM 系统[4 (https://arxiv.org/html/2607.06641#bib.bib7)]，后续工作表明检索规模和质量是关键的性能杠杆[46 (https://arxiv.org/html/2607.06641#bib.bib8)]。最近的综述提供了 RAG 架构的最新分类学[8 (https://arxiv.org/html/2607.06641#bib.bib69),20 (https://arxiv.org/html/2607.06641#bib.bib73),47 (https://arxiv.org/html/2607.06641#bib.bib33)]，并审视了检索增强系统中的信任、安全、公平性和问责制[39 (https://arxiv.org/html/2607.06641#bib.bib65)]。这些工作共同强调了检索是性能的一个独特驱动因素，并突显了在医学和公共卫生等安全关键领域可靠整合检索知识的挑战。

### 2.2 检索方法与上下文处理

现代检索系统主要依靠密集语义嵌入将文本映射到向量空间表示，在模型大小、检索准确性和延迟之间存在权衡[18 (https://arxiv.org/html/2607.06641#bib.bib28)]。将密集嵌入与 BM25 等稀疏模型相结合的混合检索方法通常能提高检索精度和召回率[6 (https://arxiv.org/html/2607.06641#bib.bib71)]。重新排序模型（例如，GTE-ModernColBERT）和基于知识图谱的检索进一步支持在特定领域设置中检索相关信息[7 (https://arxiv.org/html/2607.06641#bib.bib30),60 (https://arxiv.org/html/2607.06641#bib.bib31),3 (https://arxiv.org/html/2607.06641#bib.bib11)]。重要的是，长上下文窗口改变但并未消除对精心检索和上下文选择的需求[43 (https://arxiv.org/html/2607.06641#bib.bib35),28 (https://arxiv.org/html/2607.06641#bib.bib38)]。此外，还有大量实证工作评估检索设计选择，例如查询扩展、分块、基于记忆的架构；这突显了多个配置选择会影响检索及下游问答性能[36 (https://arxiv.org/html/2607.06641#bib.bib66),44 (https://arxiv.org/html/2607.06641#bib.bib67)]。

### 2.3 健康问答中的基准测试与评估

在医学和公共卫生领域，多项选择问答基准（例如，MedMCQA、MedQA）为评估临床知识提供了标准评估框架[42 (https://arxiv.org/html/2607.06641#bib.bib63),29 (https://arxiv.org/html/2607.06641#bib.bib64),63 (https://arxiv.org/html/2607.06641#bib.bib5)]。然而，与自由形式生成任务相比，多项选择格式可能会高估模型能力，并可能掩盖重要的推理失败[49 (https://arxiv.org/html/2607.06641#bib.bib17)]。例如，Singh 等人报告，LLM 从 MCQA 转向自由形式回答时，准确率平均下降 39.4%（人类为 22.3%）。他们还显示，即使问题主干被完全掩盖，MCQA 准确率仍高于随机水平（平均比随机高出 6.7%），这表明 MCQA 性能可能部分由答案选项线索驱动，而非底层理解[49 (https://arxiv.org/html/2607.06641#bib.bib17)]。因此，较新的基准已转向自由形式回答，以更好地模拟真实世界使用[26 (https://arxiv.org/html/2607.06641#bib.bib15),37 (https://arxiv.org/html/2607.06641#bib.bib16)]。在公共卫生领域，研究表明存在显著的知识差距，且各领域表现不均衡：AfriMed-QA 报告称，GPT-4o 在专家 MCQ 上达到总体准确率 79%，但不同专业表现差异很大——从顶级专业（如风湿病学）的 >90% 到较弱领域（如儿科和妇产科）的 <60%[40 (https://arxiv.org/html/2607.06641#bib.bib2)]，这表明尽管总体 QA 准确率很高，但存在强烈的主题依赖性；而 PubHealthBench 发现，虽然最强模型在 MCQA 中达到 >90% 准确率（GPT-4.5 为 92.5%），超过了 88% 的人类基线，但在自由形式 QA 中，没有模型得分高于 75%[24 (https://arxiv.org/html/2607.06641#bib.bib3)]。

评估方法也在演变。诸如 ROUGE 或 BLEU 之类的重叠指标与自由形式 QA 中的人类判断相关性较差[61 (https://arxiv.org/html/2607.06641#bib.bib19),62 (https://arxiv.org/html/2607.06641#bib.bib18)]。使用 LLM 作为自动评估器（“LLM-as-Judge”）已成为一种可扩展的替代方案，其中 Prometheus 及其后续版本等专门模型在一系列生成任务中显示出与人工评估的高度一致性[30 (https://arxiv.org/html/2607.06641#bib.bib39),31 (https://arxiv.org/html/2607.06641#bib.bib40),64 (https://arxiv.org/html/2607.06641#bib.bib21),23 (https://arxiv.org/html/2607.06641#bib.bib41)]。在健康特定设置中，结合医师设计的评分标准和模型评估员的评分引导式 LLM-as-judge 框架，已实现与临床医生评级的高度一致[2 (https://arxiv.org/html/2607.06641#bib.bib62),12 (https://arxiv.org/html/2607.06641#bib.bib42)]。最近一项关于搜索引擎、LLM 和 RAG 变体在健康问题上比较的研究进一步证明了检索对问答准确性的重大影响，并强调了将答案基于检索到的证据的好处[19 (https://arxiv.org/html/2607.06641#bib.bib68)]。这些发展共同强调了需要能够共同评估健康问答系统中检索质量和生成性能的基准，特别是当期望系统与官方公共卫生指南保持一致时。

## 3 方法

### 3.1 基准与数据集

我们使用 PubHealthBench QA 基准，其中包含 7,929 个多项选择题，源自涵盖 10 个主题领域的 687 份英国政府公共卫生指南文档[24 (https://arxiv.org/html/2607.06641#bib.bib3)]。源文档被转换为 Markdown 格式，并按 Markdown 标题级别拆分为块，同时附加完整标题层级以供上下文。这产生了 5,358 个块，构成了检索语料库。

表 1：PubHealthBench 子集 [24 (https://arxiv.org/html/2607.06641#bib.bib3)]。
| 子集 | 规模 | 创建方法 | QA 格式 | 目的 |
| :--- | :--- | :--- | :--- | :--- |
| PubHealthBench-Full | 7,929 | LLM 通过自动化流程从公共卫生指南的单个块生成多项选择题。 | MCQA | 覆盖面广，用于评估 LLM 在众多公共卫生主题和指南受众中的表现。 |
| PubHealthBench-FreeForm | 760 | 经专家手动审核（识别出歧义/无效项）的随机子集，不提供多项选择选项。 | 自由形式 | 更逼真的开放式评估 LLM 在自由形式 QA 上的表现。 |

### 3.2 检索

我们为 RAG 流程采用五种检索方法：

1. **基于嵌入的检索**：每个块通过文本嵌入模型编码为密集嵌入，查询也使用相同模型编码。检索通过查询和块嵌入之间的余弦相似度对块进行排序。我们评估了八种嵌入模型（例如，NV-Embed-V2[32 (https://arxiv.org/html/2607.06641#bib.bib45)]、EmbeddingGemma[9 (https://arxiv.org/html/2607.06641#bib.bib44)]、ModernBertBase[57 (https://arxiv.org/html/2607.06641#bib.bib48)]、SFR-Embedding-Mistral[38 (https://arxiv.org/html/2607.06641#bib.bib47)]、Multilingual-E5-large[55 (https://arxiv.org/html/2607.06641#bib.bib46)]、OpenAI 的 text-embedding-3-large[41 (https://arxiv.org/html/2607.06641#bib.bib49)]）。
2. **基于关键词的检索**：我们使用词频算法 TF-IDF 和 BM25 构建稀疏索引。检索通过查询和块之间关键术语的重叠对块进行排序。
3. **混合检索**：我们同时执行 (1) 和 (2) 中所述的基于嵌入和基于关键词的检索，然后使用加权倒数排序融合（RRF）合并两个排序列表：R(d; α) = α * 1/(c + r_dense(d)) + (1-α) * 1/(c + r_sparse(d)) (1)。其中 α 是权重因子，我们设 c=60，与基础 RRF 工作 [11 (https://arxiv.org/html/2607.06641#bib.bib70)] 中使用的值一致。
4. **摘要