基于LLM探针的主要ICD类别预测

# 使用基于LLM的探测方法预测主要ICD类别
来源：https://arxiv.org/html/2606.28798
Xinyue Zhang，Yao Li，Guanting Chen\\orgdiv统计系，\\orgname宾夕法尼亚州立大学，\\orgaddress\\statePA，\\countryUSA\\orgdiv生物统计系，\\orgname北卡罗来纳大学教堂山分校，\\orgaddress\\stateNC，\\countryUSA\\orgdiv统计与运筹学系，\\orgname北卡罗来纳大学教堂山分校，\\orgaddress\\stateNC，\\countryUSA

\(2026\)

###### 摘要

目的：ICD代码是报销、研究、质量评估和人群健康监测的核心，但自动编码系统往往难以整合来自临床叙述文本和结构化电子健康记录（EHR）变量的诊断信号。我们评估了冻结的医学大型语言模型（LLM）表示是否可以作为多模态主要诊断类别预测的共享嵌入空间。材料与方法：我们从MIMIC-IV数据库中构建了一个包含13,645次住院的队列，这些住院来自10个最常见的ICD-10主要编码，合并为七个诊断类别。结构化变量被序列化为临床叙述文本，并与经过泄露修剪的出院记录章节相结合。使用冻结的MedFound-Llama3-8B-finetuned骨干模型，我们从五个Transformer层提取隐藏状态，并为结构化仅、非结构化仅和组合输入训练线性探针。我们将探针与XGBoost和信息匹配的PLM-ICD基线进行了比较，并使用紧凑型瓶颈适配器评估了MIMIC-III的迁移适应性。结果：我们的探测流程在结构化仅、非结构化仅和组合输入设置下均持续优于基线方法，其中组合探针实现了最强性能，表明冻结的医学LLM嵌入可以有效整合来自多种EHR模态的互补诊断信号。在MIMIC-IV上，组合层32探针取得了最佳性能（87.69%严格准确率；91.45%医学准确率）。结构化仅探针也优于相应的标准基线（医学准确率提升6.19个百分点）。此外，诊断信息在更深层中变得线性可分性更强，并展现出可迁移性：MIMIC-III的迁移适应在保持LLM骨干冻结的情况下改进了跨编码系统的转移。讨论：该框架表明LLM嵌入可以统一结构化文本和非结构化叙述文本的EHR信息，用于多模态诊断预测。通过组合输入实现性能提升，并通过一个小型表示级别模块在MIMIC-IV和MIMIC-III之间进行适应，该方法支持跨模态和数据集对临床表示的高效重用。结论：对冻结医学LLM表示进行多模态探测为研究EHR模态和跨数据集适应临床表示提供了一种实用方法。

###### 关键词：

ICD编码；电子健康记录；大型语言模型；线性探针；多模态融合

## 1 引言

### 1.1 背景与意义

电子健康记录（EHR）结合了来自结构化测量、药物、人口统计学和叙述文本的互补临床信号。随着大型语言模型（LLM）越来越多地应用于临床数据，一个核心问题是它们是否能够支持从完整的多模态EHR记录（而非单一数据源）进行可泛化的疾病和诊断预测（Merchant et al. [2024] (https://arxiv.org/html/2606.28798#bib.bib1), Huang et al. [2019] (https://arxiv.org/html/2606.28798#bib.bib2)）。我们使用主要ICD衍生诊断类别作为受控标签空间来评估这一问题（World Health Organization [1992] (https://arxiv.org/html/2606.28798#bib.bib3)）。

许多现有的临床预测流程主要依赖非结构化文本，而互补的结构化信号——如实验室数值、药物和生命体征——则未得到充分整合（Mullenbach et al. [2018] (https://arxiv.org/html/2606.28798#bib.bib4), Huang et al. [2022] (https://arxiv.org/html/2606.28798#bib.bib5), 2019 (https://arxiv.org/html/2606.28798#bib.bib2)）。出院小结自然兼容于语言模型输入，而结构化EHR数据则是异构、稀疏且高维的。然而，结构化测量可以捕捉到叙述文档中报告不足的诊断证据，例如肾功能障碍、感染严重程度、药物暴露或心血管风险模式。这种互补性促使了将结构化和非结构化EHR输入置于共享表示空间而非作为单独建模问题处理的方法。

先前的多模态EHR研究表明，临床文本和结构化变量都包含诊断信号，但许多方法依赖于特定模态的架构或特定任务的融合模块（Mullenbach et al. [2018] (https://arxiv.org/html/2606.28798#bib.bib4), Huang et al. [2022] (https://arxiv.org/html/2606.28798#bib.bib5), Merchant et al. [2024] (https://arxiv.org/html/2606.28798#bib.bib1)）。这类融合模型在每个任务上训练成本高昂，难以重用，且对诊断信号所处位置的洞察有限，并且它们没有利用医学LLM中已编码的临床知识。核心困难在于结构化EHR数据是异构、稀疏且高维的，并不天然兼容于LLM的文本接口，这使得在没有专门架构的情况下难以获得单一共享表示。医学LLM和EHR基础模型提供了另一种可能性：结构化变量可以序列化为自然语言，并使用与叙述文本相同的冻结骨干进行嵌入（Liu et al. [2025] (https://arxiv.org/html/2606.28798#bib.bib6), Acharya et al. [2024] (https://arxiv.org/html/2606.28798#bib.bib7), Redekop et al. [2025] (https://arxiv.org/html/2606.28798#bib.bib8), Kim et al. [2026] (https://arxiv.org/html/2606.28798#bib.bib9)）。这提出了一个与训练新预测模型不同的表示级别问题：冻结的医学LLM嵌入是否已经以诊断类别可线性恢复的方式组织了结构化、非结构化和组合的EHR输入。

对于基于LLM的多模态EHR预测，仍有几个实际问题有待探索。首先，尚不清楚结构化测量和临床叙述文本是否能够共同表示，使得它们的组合信号在诊断预测上优于任何单一来源。其次，我们希望知道结构化EHR信息是否可以转换为基于语言的输入，其价值是否超越标准的表格基线。第三，我们感兴趣的是，当仅有有限的目标标签可用时，已学习的临床表示是否可以在数据集之间重用。回答这些问题需要一个框架，该框架在匹配的任务定义和预处理约束下评估模态整合、基线比较、表示重用和跨数据集适应。

在本研究中，我们提出一个模型无关的多模态探测框架，用于EHR诊断类别预测。该框架通过将结构化和非结构化EHR数据转换为共享文本接口来解决模态碎片问题，该接口可由冻结的医学LLM骨干编码。它结合了逐层探测和轻量级适配，以评估诊断相关信息出现的位置以及表示如何在数据集间迁移（Johnson et al. [2016] (https://arxiv.org/html/2606.28798#bib.bib10)）。与先前学习具有模态特定编码器和任务特定融合模块的联合空间的多模态EHR系统不同，我们的方法将结构化变量序列化为临床叙述文本，使得单个冻结的医学LLM将两种模态编码到一个共享空间中，然后我们使用线性探针对其进行探查，将可恢复的诊断信号归因于表示本身而非探针的能力。由于骨干保持冻结，相同的嵌入可重复用于模态、深度和提示分析，并且可以通过一个2M参数的适配器跨数据集和编码系统进行重新对齐，而无需重新训练模型。

使用MedFound-Llama3-8B-finetuned（Liu et al. [2025] (https://arxiv.org/html/2606.28798#bib.bib6)）作为骨干，我们在MIMIC-IV和MIMIC-III上应用预测流程，发现更深的冻结LLM表示变得越来越具有诊断信息性。组合层32探针在MIMIC-IV上取得了最强性能（87.69%严格准确率；91.45%医学准确率），表明结构化和非结构化EHR信号可以在共享表示空间内进行分析。结构化仅探测在医学准确率上超过XGBoost 6.19个百分点，支持了文本序列化结构化数据对于冻结LLM嵌入的价值。最后，一个2M参数的适配器仅使用5%带标签的目标数据就在MIMIC-III上达到92.2%的迁移准确率，表明跨数据集的不匹配可以通过轻量级表示级别适配而非全模型重训练来缓解。

## 2 材料与方法

在本研究中，我们提出一个多模态探测框架，将结构化和非结构化EHR数据表示在单个冻结的医学-LLM嵌入空间中，用于主要诊断类别预测。如图1 (https://arxiv.org/html/2606.28798#S2.F1)所示，每次住院被视为一个样本，结合两种数据类型：结构化变量，和非结构化出院记录文本。为了开发探测流程，两种数据类型都被序列化为标准输入形式，使得相同的冻结骨干能够在没有任务特定融合模型的情况下对其进行编码。我们在三种输入配置下评估该框架——结构化仅、非结构化仅和组合。

参照图注图1：多模态探测框架概览。结构化和非结构化EHR输入被转换为文本提示，由冻结的MedFound骨干编码，并在结构化仅、非结构化仅和组合配置下使用逐层线性探针进行评估。### 2.1 数据源与任务定义

我们使用MIMIC-IV作为主要开发和评估数据集，使用MIMIC-III进行分布外泛化能力分析（Johnson et al. [2024] (https://arxiv.org/html/2606.28798#bib.bib11), 2016 (https://arxiv.org/html/2606.28798#bib.bib10)）。在住院级别，我们为每次住院定义一个主要诊断，并将目标空间合并为七个临床有意义的诊断类别，包括分组的心血管、高血压-心力衰竭和感染相关类别（Rao et al. [2025] (https://arxiv.org/html/2606.28798#bib.bib12), Rangaswami et al. [2019] (https://arxiv.org/html/2606.28798#bib.bib13), Zhang et al. [2021] (https://arxiv.org/html/2606.28798#bib.bib14)）。该标签空间在探测和基线分析中一致使用。

### 2.2 输入构建

对于每次住院，我们将结构化和非结构化EHR数据序列化为共享文本接口，使得单个冻结骨干可以在通用格式下编码任一模态或其组合。这个文本序列化步骤是使异构表格变量和临床叙述文本能够置于同一表示空间的关键，我们构建了三种配置以分离各模态的贡献。

我们定义了三种输入配置c∈C={str, txt, combined}。结构化变量通过模板Tstr映射到临床叙述，出院记录通过章节提取函数Ttxt缩减为临床相关内容：

示例输入结构化(Tstr): 患者：[年龄]岁[性别] ∣ 药物：... ∣ 化验结果：... 非结构化(Ttxt): 主诉：... ∣ 现病史：... ∣ 相关结果：...

结构化仅和非结构化仅配置分别使用Tstr和Ttxt，而组合配置使用共享模板将两者拼接：Pcombined = Tstr ⊕ Ttxt，其中⊕表示使用固定分隔符连接。每种配置都以相同的诊断查询结束，以标准化跨模态的预测上下文。

为防止标签泄露，我们移除了出院记录中直接陈述诊断的尾部章节（例如，出院诊断和最终印象），仅保留描述临床过程和发现的章节。这一步对我们的分析至关重要：由于探针是在诊断信号的可恢复性上评估的，输入中任何残留的诊断性文本都会夸大表面的可分性，并混淆关于表示的论断。相同的剪裁在所有配置和所有基线比较中一致应用。

完整的序列化模板、变量选择规则（包括药物和化验限制以及异常值优先级排序）、章节边界检测以及产生的输入长度统计在补充方法中提供。

### 2.3 冻结-LLM探测框架

我们从冻结的MedFound-Llama3-8B-finetuned骨干中提取隐藏状态，保持其所有参数不变。保持骨干冻结是我们分析的核心：它确保任何可恢复的诊断信号反映了医学LLM在其自身训练期间已经组织好的信息，而非任务特定微调引入的信息。

对于每次住院i在配置c∈C和层l∈L={1,8,16,24,32}下，我们对非填充标记上的标记级隐藏状态进行平均池化，以获得单个住院级别的嵌入hi(c,l)∈Rd (d=4096)，其中hi(c,l)表示在配置c、层l下住院i的池化隐藏状态表示。所选层以近似均匀的间隔跨越32块架构，以捕捉浅层、中间和终端表示。然后我们训练一个线性探针，将每个嵌入映射到M=7个诊断类别的分数：

zi(c,l) = W(c,l) hi(c,l) + b(c,l)，其中zi(c,l)∈RM是类别logits，W(c,l)∈RM×d和b(c,l)∈RM分别是配置c、层l的线性探针的权重矩阵和偏置向量。仅优化探针参数（使用交叉熵损失），而骨干保持冻结。

我们将探针限制为线性映射，以便可恢复的诊断信号归因于冻结表示本身的结构，而非探针的容量（Alain and Bengio [2016] (https://arxiv.org/html/2606.28798#bib.bib15), Hewitt and Liang [2019] (https://arxiv.org/html/2606.28798#bib.bib16)）。更具表现力的探针可以提取额外的信号，但那种容量会混淆本研究旨在回答的表示问题。

探针训练设置和优化细节在补充方法中提供。

### 2.4 基线方法

为了对我们的多模态流程进行基准测试，