评估检索增强生成与长上下文输入在电子健康记录临床推理中的比较

# 评估检索增强生成与长上下文输入在电子健康记录临床推理中的表现
来源：https://arxiv.org/html/2508.14817

Dmitriy Dligach（洛约拉大学芝加哥分校）
Timothy A. Miller（波士顿儿童医院，哈佛医学院）
Samantha Barr（威斯康星大学麦迪逊分校）
James Landefeld（威斯康星大学麦迪逊分校）
Yanjun Gao（科罗拉多大学安舒茨分校）
Matthew M. Churpek（威斯康星大学麦迪逊分校）
Anoop Mayampurath（威斯康星大学麦迪逊分校）
Majid Afshar（威斯康星大学麦迪逊分校）

###### 摘要

**目标：** 评估检索增强生成（RAG）能否作为长上下文提示在电子健康记录（EHR）临床推理中的高效替代方案。**方法：** 我们定义了三个基于EHR的任务，这些任务在不同医疗系统间可重复，且推理复杂度各异：1）提取影像检查程序（检查方式、日期和解剖部位），2）生成治疗性抗生素使用时间线，3）确定住院期间的关键诊断。使用来自美国某学术医疗系统的真实住院临床笔记，我们评估了三种大语言模型（GPT-5.4-mini、Mistral Medium 3、DeepSeek V3.1），提供不同数量的上下文信息，比较了针对性检索与仅使用最近临床笔记的方法。**结果：** 对于影像检查程序，RAG显著优于仅使用最近笔记的输入，并且在使用少于8K token的情况下，超越了长上下文的性能（所有模型的F1值高出0.17-9.83）。在抗生素时间线任务中观察到类似优势：使用少于8K的检索token即可匹配长上下文（最近笔记）的性能（Jaccard指数差异在-3.26至+3.24之间）。错误分析显示，临床笔记中缺失信息（通常由院间转院导致）在一定程度上限制了性能。然而，在诊断生成任务上，各方法及模型之间的表现基本稳定。**讨论：** RAG在各项任务中表现出强大的token效率，其中影像提取和抗生素时间线重建任务的效果最为明确且一致。诊断生成被证明是最具挑战性的任务，提示存在由文档变异性和评估约束导致的效应上限。**结论：** 我们的结果表明，即使更新的模型能够处理越来越长的文本，RAG在处理大量EHR数据的临床任务时仍然是一种有竞争力且高效的方法。

## 1. 引言

电子健康记录（EHR）包含了患者护理的全面文档，包括诊断和治疗计划的关键信息。然而，近年来临床笔记的数量大幅增加，部分原因是复制粘贴做法、模板化文档以及监管压力——这种现象常被称为“笔记膨胀”。例如，近五分之一的急诊患者就诊时，其病历篇幅堪比《白鲸记》（超过20万词）[19（https://arxiv.org/html/2508.14817#bib.bib23）]。因此，临床医生不得不在日益冗长和冗余的记录中导航以定位关键信息。

大语言模型（LLM）有潜力通过帮助临床医生快速提取信息和进行EHR推理来减轻这一负担，并在临床摘要[21（https://arxiv.org/html/2508.14817#bib.bib15）]和问答[20（https://arxiv.org/html/2508.14817#bib.bib21）]方面展现出令人期待的能力。然而，临床文档的庞大体量可能超过大多数LLM的上下文窗口大小。一种实用方法是提供最近的笔记，这可能适用于某些任务，但有可能遗漏埋藏在早期文档中的关键信息。

检索增强生成（RAG）已成为一种有前景的解决方案，通过仅检索给定任务最相关的文本段落，使LLM能够处理长文档。RAG系统无需处理整个患者病历，而是可以选择性地提取相关的临床信息来回答特定问题（图1（https://arxiv.org/html/2508.14817#S1.F1））。这种方法有可能降低计算成本，通过消除噪声提高准确性，并减轻“中部迷失”效应[14（https://arxiv.org/html/2508.14817#bib.bib14）]，即当相关信息被埋藏在冗长上下文中时模型性能下降的现象。

参见图注

**图1：** 针对EHR临床问答的检索增强生成管道。

然而，对于需要对真实世界EHR数据进行纵向推理的任务，这种检索方法的准确性和token效率的实证评估仍然有限。一个障碍是由于患者隐私相关的法律和伦理限制，缺乏大规模标注的临床数据集。虽然MIMIC数据集[9（https://arxiv.org/html/2508.14817#bib.bib20）]进一步被注释用于基准测试各种自然语言处理任务（包括问答），但这些数据仅限于患者在ICU的住院期间，而非整个住院过程，从而限制了其测试现实用例（这些用例可能挑战LLM处理能力的token限制）的潜力。

为了解决这些空白，我们定义了三个反映不同临床推理需求的任务，并且可以在其他医疗系统中复现，无需耗费大量人力进行手动标注：

- • **影像检查程序：** 根据原始临床笔记，生成住院期间进行的影像检查程序列表（包括检查方式、日期和解剖位置）。
- • **抗生素时间线：** 为患有危及生命的感染（许多情况下为脓毒症）的患者生成治疗性抗生素使用时间线。
- • **诊断生成：** 确定与本次住院相关的关键诊断。

**影像检查程序**任务是一个直接的提取式任务，要求模型识别住院期间不同日期进行的影像检查程序。**抗生素时间线**任务不仅需要识别患者使用的抗生素及其停药时间，还需要结合隐含的医学推理来确定这些抗生素的适应症（例如，预防、抑制、既往治疗、当前治疗等）。最后一个任务**诊断生成**需要最多的医学推理——模型不仅需要列出提到的诊断，还要确定哪些诊断需要积极管理并影响了护理计划。

这些任务使我们能够研究以下问题：（a）在有限的token预算下，简单且可推广的RAG方法相对于仅向LLM提供最近笔记，能否提高效率和性能？（b）这种基线方法能在多大程度上接近使用现代模型完整长上下文窗口所达到的性能？

使用威斯康星大学（UW）医院的EHR数据，我们在这些任务上评估了三种LLM，使用不同数量的临床上下文，最高可达模型完整的120K token上下文窗口。

我们的发现表明，尽管简单的RAG可以在相当数量的最近临床笔记token基础上提供显著的效率提升，但这种效果可能依赖于任务。然而，在所有三个任务中，我们发现RAG仅使用一小部分token即可达到与完整上下文窗口接近的性能，表明即使新模型架构不断扩展上下文窗口，检索仍然是一个有竞争力的方法。

## 2. 相关工作

许多现有的EHR问答数据集侧重于事实提取。诸如EmrQA[18（https://arxiv.org/html/2508.14817#bib.bib19）]和DrugEHRQA[4（https://arxiv.org/html/2508.14817#bib.bib18）]等数据集是通过利用以前国家NLP临床挑战赛（n2c2）的注释，半自动构建的，将其转化为问答对。对于这类数据，会构建模板问题，其中注释可以填充槽位，例如“||药物||的剂量是多少？”。

MedAlign数据集[7（https://arxiv.org/html/2508.14817#bib.bib8）]包含临床医生生成的指令-答案对和纵向EHR数据。许多指令是是/否问题，可以通过检索单条证据来回答（例如“她吸烟吗？”），但有些指令要求模型综合EHR中的信息（例如“总结这位患者的心脏病史。”）。然而，开放式回答的评估在NLP中仍然是一个持续的挑战，流行的自动指标如BLEU和ROUGE在医疗领域的自然语言生成任务中与人工判断的相关性较差[5（https://arxiv.org/html/2508.14817#bib.bib17）]。

检索增强生成已被用于医学领域的多种任务，包括通过从医疗指南和期刊文章中检索来回答开放式医学问题[25（https://arxiv.org/html/2508.14817#bib.bib5）]，以及通过从围手术期指南中检索来评估手术适应性[10（https://arxiv.org/html/2508.14817#bib.bib7）]。Alkhalaf等人[3（https://arxiv.org/html/2508.14817#bib.bib3）]使用RAG通过从EHR中检索来生成结构化摘要，使用摘要字段的名称（如“年龄”和“体重”）查询相关文本。MIRAGE基准[23（https://arxiv.org/html/2508.14817#bib.bib25）]是一个医学考试和生物医学研究QA数据集的集合，用于评估RAG系统。

在临床领域之外，有几项研究直接比较了RAG与长上下文提示。Li等人[13（https://arxiv.org/html/2508.14817#bib.bib31）]发现，长上下文模型在通用领域问答基准上通常优于检索，但计算成本要高得多，这促使采用一种混合方法，即在两种方法之间路由查询。相比之下，Yu等人[24（https://arxiv.org/html/2508.14817#bib.bib32）]证明了一种保持顺序的检索机制可以在使用更少输入token的情况下超越完整的长期上下文性能，而LaRA基准[12（https://arxiv.org/html/2508.14817#bib.bib33）]得出结论，最佳选择取决于模型、上下文长度和任务类型。值得注意的是，这些比较依赖于通用领域的语料库（如小说和学术论文），其结论并不能直接迁移到EHR和基于临床工作流程（而非单答案问答）的推理任务。

我们的工作旨在通过将RAG与长上下文的比较扩展到真实的纵向EHR数据来填补先前文献中的这些空白，使用可复现的任务，这些任务需要对患者的住院过程进行推理。

## 3. 方法

### 3.1 数据与模型

我们为三个任务中的每一个构建了200例住院患者的数据集，数据来自威斯康星大学医院系统，包括从入院到出院的临床笔记（日常病程记录、专科会诊记录、影像报告等）。表1（https://arxiv.org/html/2508.14817#S3.T1）提供了汇总统计信息。所有住院时间至少为7天，且包含至少15,000个token的临床笔记。对于**影像检查程序**和**诊断生成**任务，仅使用**出院小结之前**的临床笔记向LLM提供信息，以避免从出院小结的住院病程或诊断部分泄露信息。对于**抗生素时间线**任务，所有纳入的住院病例都涉及感染病科会诊，并且仅使用会诊记录之前的笔记提供给LLM。

提供给系统的唯一结构化EHR数据是笔记的时间戳和类型（例如，病程记录、交班记录等）。

**表1：** 每个任务的数据集统计信息。

我们评估了三种能够处理高达128K token的最先进LLM：

- • GPT-5.4-mini [17（https://arxiv.org/html/2508.14817#bib.bib30）]
- • Mistral Medium 3 [2（https://arxiv.org/html/2508.14817#bib.bib29）]
- • DeepSeek V3.1 [6（https://arxiv.org/html/2508.14817#bib.bib28）]

### 3.2 RAG系统

对于每位患者的住院治疗，临床笔记被分割为重叠的128 token块，滑动窗口为20。我们使用两个模型对这些块进行嵌入：BGE-en-large-v1.5 [22（https://arxiv.org/html/2508.14817#bib.bib4）]（一个通用的基于BERT的嵌入模型，通过对比学习训练）和Qwen3-Embedding-8B [26（https://arxiv.org/html/2508.14817#bib.bib27）]。我们纳入BGE-en-large-v1.5是基于Myers等人[15（https://arxiv.org/html/2508.14817#bib.bib13）]的发现。他们对EHR检索的嵌入模型和池化策略进行了消融研究，发现BGE-en-large-v1.5在多项EHR相关检索任务中显著优于通用领域和生物医学领域的替代方案。我们另外评估了Qwen-3-Embedding，以评估更近期的、更大规模的嵌入模型能否在这些任务上带来进一步提升。

对于每个任务，我们手动构造了一个简单的查询用于检索相关段落（例如“患者的诊断是什么？”）。每个查询前面都添加了模型推荐的指令前缀：BGE-en-large-v1.5使用“Represent this sentence for searching relevant passages:”，Qwen3-Embedding-8B使用“Instruct: Given a web search query, retrieve relevant passages that answer the query\\nQuery: ”。我们使用查询与每个块之间的余弦相似度来检索最相关的N个段落（N = 20, 40, 60）。这些块被插入到指令提示中（见附录B），并传递给LLM。

我们将这种检索配置与基线方法进行比较：提供相当数量的最近临床笔记（2560、5120或7680个EHR文本token），以及提供最多64K或120K个EHR token的长上下文输入。本研究中对这些token数量的引用应理解为**上限**，因为某些就诊包含较少的token，反映了底层住院分布的实际情况。本研究报告的token计数是使用独立的tokenizer而不是每个模型的原生tokenizer计算的。对于每个评估的token数量（例如，20个128 token块，64K token），这确保了所有模型接收相同的输入文本，因为不同的tokenizer可能对相同内容产生不同的计数。

任务性能使用F1或Jaccard指数进行评估，具体如下文所述，我们通过计算曲线下面积并报告归一化面积差异来评估RAG与非RAG方法在不同token数量下的比较性能。具体来说，对于每种方法，我们将任务性能绘制为输入token数的函数，并在两种方法共享的token预算范围内，在测量点之间进行插值以获得连续曲线。然后，我们使用梯形法则计算每条曲线下的面积，并定义归一化面积差为：

归一化面积差 = (AUC_RAG - AUC_最近笔记) / AUC_最近笔记 × 100% (1)

正值表示RAG在共享token范围内优于最近笔记基线，其幅度反映了差距的相对大小。值为100%表示RAG曲线下的面积是最近笔记曲线下面积的两倍。