MedLoCoMo：面向大语言模型的长上下文多会话医疗对话基准

# MedLoCoMo：面向大语言模型的长上下文多会话医疗对话基准测试
来源：https://arxiv.org/html/2607.22566
张泽宇 王子晴 丁开泽 西北大学 \{zeyuzhang2030, ziqingwang2029\}@u\.northwestern\.edu kaize\.ding@northwestern\.edu

###### 摘要

MedLoCoMo 是一个面向患者特定临床推理的医疗长上下文记忆基准测试，覆盖多次入院医疗对话场景。现有医疗问答基准主要测试短上下文知识或单文档定位能力，未充分检验大语言模型能否在纵向患者病史中运用、关联及规避信息。我们基于去标识化的 MIMIC-IV 和 MIMIC-IV-Note 记录构建 MedLoCoMo：首先构建入院级别的临床数据包，然后合成有据可依的医患对话，最后生成基于证据的问答项目，涵盖单次入院、跨入院及对抗性不可回答三类场景。该基准包含 100 条患者时间线，平均每段对话有 1,669.8 轮次、29.7 个会话及 74,512.2 个词元。在评估的基线模型中，跨入院推理始终比局部证据使用更具挑战性，即使模型拥有长上下文窗口或外部记忆/检索方法。MedLoCoMo 的代码和基准数据已在 https://github.com/leozzy13/MedLoCoMo 发布，可供使用和复现。

MedLoCoMo：面向大语言模型的长上下文多会话医疗对话基准测试

张泽宇 王子晴 丁开泽 西北大学 \{zeyuzhang2030, ziqingwang2029\}@u\.northwestern\.edu kaize\.ding@northwestern\.edu

参见图注
图 1：MedLoCoMo 中选定模型在不同问题类型上的雷达图。坐标轴报告了可回答问题的 LLM 评判准确率和对抗性问题的弃权准确率。分数显示在 0–1 范围内。
表 1：MedLoCoMo 与长上下文、对话及临床基准数据集的对比。列总结了医疗领域覆盖范围、数据集规模、平均对话长度、会话结构、词元数和定义的时间跨度；MedLoCoMo 结合了医疗基础与长多会话患者时间线用于评估。

## 1 引言

临床推理本质上是纵向的。针对特定患者的问题通常需要来自既往入院记录、出院小结、影像报告、手术记录、微生物学结果及不断变化的诊断列表中的证据。这些记录形成了一组异构的临床事件序列，而非单一段落，这使得去标识化的电子健康记录资源（如 MIMIC-IV (Johnson et al., 2023a (https://arxiv.org/html/2607.22566#bib.bib1))）对于临床自然语言处理研究至关重要。

核心评估差距在于患者层面的纵向推理。考试风格和生物医学问答数据集（如 MedQA、MedMCQA 和 PubMedQA）通过简洁问题、临床小故事或摘要来衡量领域知识 (Jin et al., 2020 (https://arxiv.org/html/2607.22566#bib.bib3); Pal et al., 2022 (https://arxiv.org/html/2607.22566#bib.bib4); Jin et al., 2019 (https://arxiv.org/html/2607.22566#bib.bib5))。基于电子健康记录的问答数据集（如 emrQA 和 EHRNoteQA）更贴近临床文档，但仍主要关注单一笔记或有限笔记上下文 (Pampari et al., 2018 (https://arxiv.org/html/2607.22566#bib.bib6); Kweon et al., 2024 (https://arxiv.org/html/2607.22566#bib.bib7))。它们并未直接检验大语言模型能否回答证据跨越多次入院的患者特定问题，或在纵向记录缺乏支持时能否正确回避。

这一差距具有挑战性，因为纵向临床问答对模型的考验不止于上下文长度。相关证据可能稀疏、重复或随入院次数更新，要求模型判断哪些早期事件仍然重要、哪些后期事件改变了患者状态。先前的长上下文研究表明，随着上下文增长或相关片段远离提示中的显著位置，模型性能会下降 (Bai et al., 2024 (https://arxiv.org/html/2607.22566#bib.bib8); Liu et al., 2024 (https://arxiv.org/html/2607.22566#bib.bib11))。在患者时间线中，这些失败表现为遗漏跨入院关联、使用过时证据，或对看似合理的问题给出无根据的答案。因此，一个有价值的基准应同时检验模型在多次就诊间使用证据的能力，以及在没有任何入院记录支持所请求事实时弃权的能力 (Rajpurkar et al., 2018 (https://arxiv.org/html/2607.22566#bib.bib12))。图 1 (https://arxiv.org/html/2607.22566#S0.F1) 预览了 MedLoCoMo 各类问题之间的这种差异。

我们引入 MedLoCoMo，一个面向患者特定临床推理的医疗长上下文记忆基准。从去标识化的 MIMIC-IV 结构化数据和 MIMIC-IV-Note 文本出发 (Johnson et al., 2023a (https://arxiv.org/html/2607.22566#bib.bib1), b (https://arxiv.org/html/2607.22566#bib.bib2))，我们构建入院级别的临床数据包，合成有据可依的医患风格对话，并生成长答案问答项目，附带明确的证据引用。每个基准实例是一个按时间排序的患者时间线，其中的入院被视为一次长对话中的会话。MedLoCoMo 在评估前固定，因此记忆和检索系统随后在同一个基于证据的问答集上进行比较。最终基准包含 100 段患者对话，平均每段有 1,669.8 轮次、29.7 个会话和 74,512.2 个词元。

我们的评估将难度来源分为三类：*单次入院*问题——可从单次住院中回答；*跨入院*问题——需要来自多次入院证据；以及*对抗性不可回答*问题——测试当合理的临床问题缺乏支持时模型能否弃权。由于长患者时间线也挑战证据的保存和更新，我们包含一个基于记忆增强的案例研究，使用检索方法作为额外基线。图 2 (https://arxiv.org/html/2607.22566#S3.F2) 总结了构建流程；附录 A (https://arxiv.org/html/2607.22566#A1) 至 C (https://arxiv.org/html/2607.22566#A3) 提供了额外的数据集、评估和提示细节。

我们的贡献如下：

- •**一个患者级别的长上下文临床基准**，基于去标识化的电子健康记录数据和笔记构建，包含 100 条纵向患者时间线，平均每段有 1,669.8 轮次和 74,512.2 个词元。
- •**一个基于证据的问答设计**，区分了单次入院推理、跨入院推理和对抗性不可回答问题。
- •**一项基线研究**，涵盖通用和医学大语言模型，表明在评估的套件中，模型规模和领域专业化并未消除跨入院推理差距。
- •**一个基于记忆增强的案例研究**，包含检索基线，表明记忆可以改善弃权率和整体问答分数，但在该场景下，更丰富的记忆结构本身并不能保证更好的答案提取。

## 2 相关工作

#### 医疗问答基准。

医疗问答基准主要在紧凑设定中衡量领域知识：MedQA (Jin et al., 2020 (https://arxiv.org/html/2607.22566#bib.bib3)) 和 MedMCQA (Pal et al., 2022 (https://arxiv.org/html/2607.22566#bib.bib4)) 使用考试风格问题，而 PubMedQA (Jin et al., 2019 (https://arxiv.org/html/2607.22566#bib.bib5)) 和 BioASQ (Tsatsaronis et al., 2015 (https://arxiv.org/html/2607.22566#bib.bib13)) 评估生物医学文献理解。基于电子健康记录的问答更贴近临床文档：emrQA 从临床笔记构建问答对 (Pampari et al., 2018 (https://arxiv.org/html/2607.22566#bib.bib6))，EHRNoteQA 评估基于出院小结的问题 (Kweon et al., 2024 (https://arxiv.org/html/2607.22566#bib.bib7))。MedOdyssey 针对长达 20 万词元的医学长上下文评估 (Fan et al., 2024 (https://arxiv.org/html/2607.22566#bib.bib10))，但其组织方式围绕长医学输入和检索型压力测试，而非患者级别的多次入院对话。相比之下，MedLoCoMo 将患者作为评估单元，检验跨纵向时间线的证据使用。

#### 长上下文问答评估。

长上下文问答评估检验模型能否在数千词元中定位、保留并组合证据。LongBench (Bai et al., 2024 (https://arxiv.org/html/2607.22566#bib.bib8))、LongBench v2 (Bai et al., 2025 (https://arxiv.org/html/2607.22566#bib.bib9)) 和 L-Eval (An et al., 2024 (https://arxiv.org/html/2607.22566#bib.bib16)) 包含长文档问答、摘要、对话理解和深度推理任务，而 RULER 在不同上下文长度下探测受控推理 (Hsieh et al., 2024 (https://arxiv.org/html/2607.22566#bib.bib17))。关于位置鲁棒性的工作表明，当证据出现在不显著的上下文位置时，模型可能失败 (Liu et al., 2024 (https://arxiv.org/html/2607.22566#bib.bib11))，因此更长的提示本身并不足够。长患者历史也类似于长期对话记忆问题：LoCoMo 评估非常长的多会话对话 (Maharana et al., 2024 (https://arxiv.org/html/2607.22566#bib.bib20))；MedMT-Bench 在合成的长多轮医疗场景中测试记忆、干扰鲁棒性和安全防御 (Yang et al., 2026 (https://arxiv.org/html/2607.22566#bib.bib27))；MSC 研究随时间推移的重复交互 (Xu et al., 2022 (https://arxiv.org/html/2607.22566#bib.bib23))；近期分析表明多轮假设和错误可能累积 (Laban et al., 2026 (https://arxiv.org/html/2607.22566#bib.bib26))。MedLoCoMo 遵循这种多会话框架，但将会话扎根于患者特定的电子健康记录证据。

#### 临床对话生成。

医疗对话语料库（如 MedDialog (Zeng et al., 2020 (https://arxiv.org/html/2607.22566#bib.bib14)) 和 M^2-MedDialog (Yan et al., 2021 (https://arxiv.org/html/2607.22566#bib.bib15))）支持医疗对话建模，但在线咨询通常不链接到结构化电子健康记录时间线。ACI-Bench 专注于从就诊对话生成病历 (Yim et al., 2023 (https://arxiv.org/html/2607.22566#bib.bib25))，而 MedDialogRubrics 使用基于量规的评估对多轮医疗咨询进行评估 (Gong et al., 2026 (https://arxiv.org/html/2607.22566#bib.bib29))。MediLongChat 合成基于知识引导的多就诊医疗对话，用于对话内、跨对话和综合推理 (Hu et al., 2026 (https://arxiv.org/html/2607.22566#bib.bib28))；MedLoCoMo 则从去标识化的电子健康记录入院数据出发，强调基于证据的医疗长上下文问答。先前的工作（如 Self-Instruct）表明基于大语言模型的生成可以扩展指令类数据构建 (Wang et al., 2023 (https://arxiv.org/html/2607.22566#bib.bib19))；在临床基准测试中，这使得证据基础、证据引用和不可回答案例变得至关重要。

#### MedLoCoMo 的不同之处。

表 1 (https://arxiv.org/html/2607.22566#S0.T1) 将 MedLoCoMo 与长上下文、对话和临床基准在医学相关性、规模、会话结构和上下文长度方面进行了对比。在 100 段对话中，MedLoCoMo 平均有 1,669.8 轮次、29.7 个会话和 74,512.2 个词元；最长的对话达到 156,528 词元和 64 个会话。与短上下文医疗问答、单笔记电子健康记录问答、医疗长上下文文档基准及咨询基准相比，MedLoCoMo 强调跨入院证据使用、演变的临床事实，以及当记录不支持答案时的弃权 (Rajpurkar et al., 2018 (https://arxiv.org/html/2607.22566#bib.bib12))。检索增强生成 (Lewis et al., 2020 (https://arxiv.org/html/2607.22566#bib.bib31))、医疗 RAG 基准（如 MIRAGE (Xiong et al., 2024 (https://arxiv.org/html/2607.22566#bib.bib33))）以及临床时间信息提取基准（如 i2b2 (Sun et al., 2013 (https://arxiv.org/html/2607.22566#bib.bib30))）为证据选择和事件结构化提供了补充基线，但它们本身并不评估完整患者时间线上的开放式答案对话问答。

## 3 MedLoCoMo 生成流程

MedLoCoMo 通过分阶段流程构建，将原始电子健康记录转换为患者级别的长上下文问答实例。我们首先识别符合条件的纵向患者轨迹，然后从笔记和结构化事件中形成入院级别的临床数据包。这些数据包支持基于证据的对话和摘要合成、按时间顺序的患者级别聚合、基于证据的问答生成以及最终的质量控制检查。图 2 (https://arxiv.org/html/2607.22566#S3.F2) 总结了这个过程。

### 3.1 源数据与资格条件

MedLoCoMo 基于 MIMIC-IV v3.1 和 MIMIC-IV-Note v2.2 构建，它们提供去标识化的结构化电子健康记录数据和关联的自由文本临床笔记 (Johnson et al., 2023a (https://arxiv.org/html/2607.22566#bib.bib1), b (https://arxiv.org/html/2607.22566#bib.bib2))。该基准以患者级别组织。每位患者是一个基准实例，每次医院入院是该实例中的一个会话。按时间顺序连接这些会话，形成多会话、多轮次的长上下文输入。

参见图注
图 2：MedLoCoMo 的端到端构建流程。符合条件的 MIMIC-IV 和 MIMIC-IV-Note 记录被转换为入院数据包，用于合成有据可依的医患对话和入院摘要，组装成患者级别的时间线，并转换为基于证据的问答项目，供后续评估和分析使用。

#### 符合条件的入院。

如果一次入院在 MIMIC-IV-Note 中至少包含一份出院小结，则符合条件。我们要求有出院小结，因为它们提供了最完整的住院病程叙述，并作为有据可依的对话生成的骨干。没有出院笔记的入院被排除。

#### 符合条件的患者。

如果一位患者有多次符合条件的入院，则符合条件。为了支持大规模生成，我们使用一个按符合条件的入院数量排序的精选候选名单。该名单倾向于具有多次就诊的纵向轨迹，这对于压力测试长上下文推理特别有用。

### 3.2 临床数据包形成

对于每次符合条件的入院，我们构建一个*入院数据包*：一个结构化的 JSON 工件，收集用于生成的临床证据。每个数据包包含：

- •**骨干叙述**：该次入院的出院笔记，按笔记序列和时间排序。
- •**支持性自由文本**：与该次入院关联的放射学笔记。
- •**结构化临床事件**：入院级别的 ICD 诊断、手术和微生物学条目。
- •**纵向上下文**：当可用时，前一次入院生成的摘要，以支持跨会话连续性。

对于仅含日期字段的时间戳处理和入院边界，详见附录 A.5 (https://arxiv.org/html/2607.22566#A1.SS5)，以确保可复现的评估。

### 3.3 对话与摘要合成

给定入院数据包，我们提示一个大语言模型为该次入院生成有据可依的医患风格对话。我们通过提示和后生成验证强制执行以下约束：

- •**恰好两位发言人**：医生和患者。
- •输出是一个带时间戳的轮次列表，轮次索引连续。
- •轮次时间戳单调递增，且落在入院边界内。
- •出院笔记提供骨干故事情节；放射学、手术、微生物学和前次入院摘要提供支持性上下文。

参见图注

(a) 纵向覆盖

参见图注

(b) 对话组成

参见图注

(c) 问题类型分布

图 3：MedLoCoMo 基准概览