基于掩码临床语境的 SNOMED CT 概念推荐

# 基于掩码临床上下文的SNOMED CT概念推荐：稀疏、密集与检索增强方法
来源：https://arxiv.org/html/2609.17855  
作者：Ali Noori  
单位：北卡罗来纳大学格林斯伯勒分校 信息学与分析学部  
地点：美国北卡罗来纳州格林斯伯勒  

###### 摘要

将临床语言映射到SNOMED CT是实现语义互操作性、临床分析和可重复表型分析的关键，但当目标提及在观测文本中缺失或训练数据中代表性不足时，概念推荐会变得困难。我们使用源自MIMIC-IV-Note的SNOMED CT实体链接挑战赛v1.2.1版本，构建了一个掩码概念推荐基准测试。分析版本包含272份出院小结中的75,491条标注。我们重建了历史上的204份笔记训练集和68份笔记测试集，将重复提及合并为单一笔记-概念对，并从局部上下文窗口中移除目标概念提及，同时对训练集中观察到的候选概念进行排序。历史测试集包含14,179个唯一的笔记-概念对，其中12,809个（90.34%）的目标概念在训练词汇表中表示，构成了主要的封闭词汇表评估集。我们比较了流行度、稀疏TF-IDF概念原型、96维潜在语义分析（LSA）、稀疏-密集融合、来自训练笔记的相似度加权检索以及检索增强混合方法。稀疏TF-IDF表现最佳，Recall@1达到14.81%，Recall@10达到33.43%，平均倒数排名（MRR）为0.2114，nDCG@10为0.2297。密集LSA的Recall@10为17.10%，MRR为0.0735，而检索增强混合方法的Recall@10为31.99%，MRR为0.1937。配对笔记聚类自助分析表明，检索增强混合方法在Recall@10（差异的95%置信区间为-0.0184至-0.0104）和MRR（-0.0212至-0.0142）上均低于稀疏TF-IDF。性能强烈依赖于频率：对于在训练笔记中出现一两次的概念，稀疏TF-IDF的Recall@10为7.74%；而对于出现超过十次的概念，该值为43.90%。此外，1,370个测试笔记-概念对（9.66%）包含训练词汇表中未出现的目标。这些发现确立了一个可重复的检索基线，并表明在这种低资源环境中，术语覆盖范围和局部词汇上下文比简单的整笔记检索增强更为重要。研究结果为使用生物医学编码器进行术语级检索以及基于本体的候选生成作为下一阶段提供了动力。

关键词：SNOMED CT；临床自然语言处理；概念推荐；检索增强；密集嵌入；TF-IDF；MIMIC-IV；掩码概念恢复。

## 1引言

临床笔记包含诊断、症状、程序、测量、观察和临床医生推理，这些内容在没有标准化的情况下难以重用于计算。自动化临床编码和实体链接将这些自由文本映射到标准化标识符，支持互操作性并减少对人工抽象的依赖[1 (https://arxiv.org/html/2609.17855#bib.bib5)]。SNOMED CT尤其重要，因为它提供了一个大型、结构化的临床术语，用于医疗保健信息的详细表示[2 (https://arxiv.org/html/2609.17855#bib.bib17)]。

SNOMED CT实体链接挑战赛通过将MIMIC-IV-Note出院小结与精心策划的SNOMED CT标注配对，创建了临床术语映射的重要资源[3 (https://arxiv.org/html/2609.17855#bib.bib3),4 (https://arxiv.org/html/2609.17855#bib.bib2)]。最初的比赛侧重于定位实体范围和分配概念标识符。随后的PhysioNet v1.2.1版本纳入了历史隐藏测试集和质量控制更新[4 (https://arxiv.org/html/2609.17855#bib.bib2)]。该资源还揭示了临床概念建模的核心难点：目标术语规模庞大且高度长尾，因此许多概念的监督示例非常少。

我们之前的工作解决了这个问题的互补部分。我们研究了自动化本体标注系统的鲁棒评估策略[5 (https://arxiv.org/html/2609.17855#bib.bib18)]，评估了用于临床文本中SNOMED CT概念标注的Bi-GRU序列标注方法[6 (https://arxiv.org/html/2609.17855#bib.bib19)]，后来表明SNOMED CT共现和基于嵌入的语义相似性在临床文档中捕获了互补的关系[7 (https://arxiv.org/html/2609.17855#bib.bib1)]。这些研究共同推动了从检测和描述概念转向从上下文中推荐临床合理概念的研究方向。

检索增强生成（RAG）为将模型输出基于外部证据提供了一个通用框架[8 (https://arxiv.org/html/2609.17855#bib.bib6)]。即使精确的词汇重叠有限，密集检索也能恢复语义相关的证据[9 (https://arxiv.org/html/2609.17855#bib.bib7)]，而生物医学RAG研究日益强调检索器设计、术语知识和临床适当评估的重要性[10 (https://arxiv.org/html/2609.17855#bib.bib13)]。最近的系统也将检索和大语言模型应用于SNOMED CT映射[11 (https://arxiv.org/html/2609.17855#bib.bib16),12 (https://arxiv.org/html/2609.17855#bib.bib15)]，而基于本体的检索则明确使用结构化知识来指导证据选择[13 (https://arxiv.org/html/2609.17855#bib.bib14)]。

本研究探讨仅使用获得许可的挑战笔记和标注时，检索增强是否已经能改进概念推荐。我们将推荐表述为掩码概念恢复：从局部临床上下文中移除观测到的目标提及，系统必须对缺失的SNOMED CT概念进行排序。此设计防止了直接字符串匹配，并孤立了来自周围临床语言可用的信息。

我们提出三个研究问题：

1. RQ1：稀疏和密集上下文表示能多准确地恢复掩码的SNOMED CT概念？
2. RQ2：从训练笔记中检索的证据是否能改进超出仅基于上下文的最强基线的排序？
3. RQ3：推荐性能和可达到的覆盖范围受概念频率和训练词汇重叠的影响有多强？

本研究有四项贡献。首先，它从SNOMED CT实体链接挑战赛v1.2.1版本定义了一个可重复的掩码概念推荐基准。其次，它在受控历史划分下比较了稀疏TF-IDF原型、数据驱动的密集LSA嵌入、稀疏-密集融合、检索笔记证据和检索增强排序。第三，它报告了词汇覆盖范围和频率分层性能，而不是呈现单一的汇总分数。第四，它使用按笔记聚类的配对自助重抽样来量化检索增强与最强稀疏基线比较中的不确定性。

本文中的*检索增强*一词指的是将从训练笔记检索到的非参数证据添加到排序函数中。我们在本实验中没有评估生成式LLM。挑战档案不包含进行术语级基于本体的RAG所需的完整SNOMED CT术语描述、同义词、层次结构和关系文件。因此，本研究评估了检索和排序层，并使用结果来明确一个更强大的生物医学编码器和基于本体的系统必须改进之处。

## 2相关工作

### 2.1临床编码、本体标注和SNOMED CT实体链接

自动化临床编码已通过规则、词典、统计模型、神经架构和语言模型进行了研究[1 (https://arxiv.org/html/2609.17855#bib.bib5)]。MedCAT结合了跨临床领域的概念识别和上下文消歧[14 (https://arxiv.org/html/2609.17855#bib.bib12)]。在我们早期的临床标注工作中，评估了Bi-GRU序列标注模型用于识别临床文本中的SNOMED CT概念范围，展示了监督神经模型在术语标注中的应用[6 (https://arxiv.org/html/2609.17855#bib.bib19)]。另外，我们关于自动化本体标注的工作考察了比较标注系统的评估指标，推动了使用多种互补度量而非单一主要分数[5 (https://arxiv.org/html/2609.17855#bib.bib18)]。

SNOMED CT实体链接挑战赛大幅扩展了可用的基准资源，竞赛论文报告了272份出院小结中的74,808个精心策划的标注[3 (https://arxiv.org/html/2609.17855#bib.bib3)]。v1.2.1 PhysioNet版本反映了后续的质量控制更改[4 (https://arxiv.org/html/2609.17855#bib.bib2)]。传统的实体链接给定原始笔记并寻找实体范围和概念ID。相反，本任务仅使用标注的概念实例来构建评估数据，掩码目标表面形式，并要求推荐器从周围上下文中对缺失的概念进行排序。因此，它评估的是上下文驱动的建议而非范围检测。

### 2.2稀疏和密集检索

稀疏向量空间方法仍然是强大的信息检索基线，因为局部词汇上下文可以包含高度判别性的证据。TF-IDF加权强调在集合中区分文档或上下文的词语[15 (https://arxiv.org/html/2609.17855#bib.bib8)]。潜在语义分析（LSA）使用奇异值分解将稀疏表示投影到较低维度的密集空间，旨在捕获高阶关联[16 (https://arxiv.org/html/2609.17855#bib.bib9)]。现代密集检索用学习的神经编码器替代了这种分解，并且在表示学习和监督足够时可以超越稀疏检索[9 (https://arxiv.org/html/2609.17855#bib.bib7)]。

生物医学语言模型提供了特定于领域的表示，对于许多临床和生物医学任务，这些表示优于通用的数据驱动分解。BioClinicalBERT在临床文本上进行了预训练[17 (https://arxiv.org/html/2609.17855#bib.bib10)]，而SapBERT使用UMLS同义词结构显式对齐生物医学实体表示[18 (https://arxiv.org/html/2609.17855#bib.bib11)]。这些模型未在本实验中使用，因为目标是仅使用挑战数据和标准本地机器学习组件建立一个可重复的基线。它们是术语支持检索的重要下一步基线。

### 2.3检索增强和基于本体的临床映射

RAG将参数模型与非参数检索证据相结合[8 (https://arxiv.org/html/2609.17855#bib.bib6)]。在生物医学领域，系统性证据表明RAG可以改善多种语言模型应用，同时表明检索设计、源质量和临床评估仍然至关重要[10 (https://arxiv.org/html/2609.17855#bib.bib13)]。基于本体的RAG通过使用形式化领域结构来指导检索，而非仅依赖非结构化段落，扩展了这一概念[13 (https://arxiv.org/html/2609.17855#bib.bib14)]。

SNOMED CT映射开始直接采用这种模式。Huh评估了基于GPT-4的策略，包括检索增强，用于将本地医疗术语映射到SNOMED CT[11 (https://arxiv.org/html/2609.17855#bib.bib16)]。Ehrler及其同事描述了一个混合流程，其中基于嵌入的候选检索之后是LLM消歧，用于到SNOMED CT的语义映射[12 (https://arxiv.org/html/2609.17855#bib.bib15)]。这些研究推动了候选检索加重新排序的架构。本研究孤立了一个更早的问题：在引入外部术语知识或生成模型之前，添加检索的笔记证据是否能改进概念排序。

### 2.4与我们先前语义分析的关系

我们早期的MIMIC-IV研究比较了笔记级SNOMED CT共现与基于嵌入的语义相似性，发现这两种信号相关但非冗余[7 (https://arxiv.org/html/2609.17855#bib.bib1)]。那项工作是描述性和探索性的：它表征了概念关系、时间模式、聚类和基于嵌入的建议。本研究将终点从语义表征转变为保留集推荐。黄金目标提及被移除，候选概念被排序，并使用检索指标和不确定性估计来衡量性能。这一区别很重要，因为在探索性分析中看似临床合理的关系可能不会改善样本外排序。

## 3数据

### 3.1来源

我们使用PhysioNet上的SNOMED CT实体链接挑战赛v1.2.1资源[4 (https://arxiv.org/html/2609.17855#bib.bib2)]，该资源源自MIMIC-IV-Note v2.2[19 (https://arxiv.org/html/2609.17855#bib.bib4)]。MIMIC-IV-Note包含在获得许可访问下的去标识化临床自由文本。挑战赛版本包含272份标注的出院小结和大约75,000个标注；版本文档说明标注由经过医学培训的标注者创建，并进行了大量的双重标注和裁定[4 (https://arxiv.org/html/2609.17855#bib.bib2)]。

本文分析的v1.2.1档案包含正好75,491个标注行。其标注表保留了标识历史训练集和测试集的标签以及标记为`proposed_ACCEPTED`的行。我们将每个接受的质量控制添加项分配到其笔记的历史分区。这产生了来自204份训练笔记的52,078个标注和来自68份测试笔记的23,413个标注。测试笔记未用于拟合文本向量化器、概念原型、潜在语义投影或检索索引。

表1：将接受的质量控制添加项分配到其笔记分区后的数据集统计信息。重复提及保留在标注计数中，但在笔记-概念推荐对中进行了合并。历史测试笔记相对于训练笔记是概念密集的：平均每份笔记包含208.5个唯一概念，而训练笔记为159.8个。这种分布差异增加了从拥挤的临床上下文中恢复单个掩码概念的难度。

### 3.2词汇重叠和长尾

训练分区包含5,317个唯一概念ID，测试分区包含4,068个。只有2,790个概念ID同时出现在两个分区中。在类型级别，测试概念的4,068个中有1,278个（31.42%）不在训练词汇表中。由于高频概念贡献了更多的笔记-概念对，实例级别的覆盖范围更高：14,179个测试对中有12,809个（90.34%）的目标概念在训练期间被观察到，而1,370个对（9.66%）是未见过的。

训练词汇表呈现强烈的长尾分布。超过一半的训练概念（2,768个；52.06%）恰好出现在一份训练笔记中，3,533个概念（66.45%）最多出现在两份笔记中。中位概念出现在一份笔记中，上四分位数从四份笔记开始。这种极端稀疏性对于解释检索性能至关重要。

图1：历史测试笔记-概念对的封闭词汇覆盖范围。未见过的目标无法被其候选清单仅包含在训练中观察到的概念的推荐器生成。