使用不规则电子健康记录的多模态提示学习用于重症监护患者的鲁棒监测

# 基于不规则电子健康记录的多模态提示学习用于重症监护患者稳健监测
来源：https://arxiv.org/html/2608.21941
Yueyang Sun 共同第一作者 北京邮电大学国际学院，Weichen Liu 东南大学计算机科学与工程学院，Xianbing Zhao 江南大学人工智能与计算机学院 [email protected], [email protected], [email protected], [email protected], [email protected] Sicen Liu 通讯作者 深圳莫子山-北京理工大学大学工程学院，

###### 摘要

准确评估重症监护病房（ICUs）患者对于及时进行临床干预和改善患者预后至关重要。多模态电子健康记录（EHRs），包括结构化生理时间序列和纵向临床笔记，为重症监护预测提供了互补信息。然而，在真实临床环境中，单个模态可能部分缺失或完全不可用，导致现有多模态模型的性能显著下降。为应对这一挑战，我们提出了一种多模态提示学习框架，用于在各种缺失模态场景下进行稳健的临床预测。该框架引入了四种互补类型的提示：生成式提示、缺失信号提示、缺失类型提示和时间提示。生成式提示为不可用的模态构建代理潜在表示，而缺失信号提示用于区分观测表示与生成表示。缺失类型提示根据不同的模态可用性配置来调节模型，而时间提示则对时间编码的临床序列执行特定条件的聚合。这些提示共同作用，使模型能够在统一架构中捕获缺失感知的模态内依赖关系和跨模态交互。大量实验表明，在两种缺失设置下，我们的方法在各项评估指标上均优于现有方法。消融和鲁棒性分析进一步验证了四种提示类型的互补贡献以及所提出的框架在从不完整多模态电子健康记录数据进行临床预测方面的有效性。

## 1 引言

重症监护病房（ICUs）为患有危及生命状况的患者提供持续护理，例如严重创伤\[33 (https://arxiv.org/html/2608.21941#bib.bib2)\]、脓毒症\[4 (https://arxiv.org/html/2608.21941#bib.bib3)\]和器官衰竭\[2 (https://arxiv.org/html/2608.21941#bib.bib4)\]。ICU入院后的最初几个小时尤为关键，因为患者可能经历快速的生理恶化，并且极易受到延迟或不恰当临床决策的影响\[8 (https://arxiv.org/html/2608.21941#bib.bib5),25 (https://arxiv.org/html/2608.21941#bib.bib6)\]。因此，基于ICU入院前48小时内收集的患者临床信息，准确预测院内死亡率对于及时的风险评估、资源分配和临床干预至关重要。电子健康记录（EHRs）的广泛应用极大地改变了ICU中患者健康状况的记录和分析方式\[1 (https://arxiv.org/html/2608.21941#bib.bib7),5 (https://arxiv.org/html/2608.21941#bib.bib8),29 (https://arxiv.org/html/2608.21941#bib.bib9)\]。EHRs包含异构且互补的临床信息源，包括多变量不规则采样时间序列（MISTS），例如实验室测量和生命体征，以及记录患者症状、诊断、治疗和疾病进展的纵向临床笔记。这些数据的日益可用促进了深度学习模型在各种临床应用中的开发\[41 (https://arxiv.org/html/2608.21941#bib.bib10),3 (https://arxiv.org/html/2608.21941#bib.bib11),30 (https://arxiv.org/html/2608.21941#bib.bib12)\]，包括死亡率预测\[42 (https://arxiv.org/html/2608.21941#bib.bib13)\]、脓毒症发病预测\[34 (https://arxiv.org/html/2608.21941#bib.bib14)\]、表型分类\[14 (https://arxiv.org/html/2608.21941#bib.bib15)\]和用药推荐\[47 (https://arxiv.org/html/2608.21941#bib.bib16),24 (https://arxiv.org/html/2608.21941#bib.bib17)\]。

参见标题图1：电子健康记录数据中不同类型缺失信息的示例，包括缺失临床笔记、缺失MISTS以及模态内数据缺失。心率和体温以不同的频率规律监测，葡萄糖是以不规则时间间隔开具的实验室测试。临床笔记是自由文本。现有研究已开发出多模态架构来整合不规则的生理测量和临床笔记\[46 (https://arxiv.org/html/2608.21941#bib.bib20),23 (https://arxiv.org/html/2608.21941#bib.bib22)\]。然而，在实际推理过程中，两种模态可能并非总是可用，因为现实世界的EHRs可能包含不完整数据，或者由于设备故障、文档记录延迟、数据损坏、隐私限制或临床工作流程的变化而导致某个模态完全缺失。如图1 (https://arxiv.org/html/2608.21941#S1.F1)所示，不同的缺失模态配置会引入不同的信息缺口，并可能显著降低死亡率预测性能。此外，每个模态内的观测在时间上是不规则的：生理变量记录的时间间隔不均匀，而临床笔记则记录在ICU停留的不同阶段。因此，一个稳健的模型应该能够区分观测表示与生成表示，根据不同的模态可用性条件调整其融合策略，并保留可用临床流中编码的不规则时间信息。

提示学习通过可学习参数提供了一种灵活的机制，用于将模型表示适应于不同的输入条件\[10 (https://arxiv.org/html/2608.21941#bib.bib18),18 (https://arxiv.org/html/2608.21941#bib.bib19)\]。受此特性启发，我们提出了一种多模态提示学习框架，用于基于ICU入院前48小时收集的EHR数据进行院内死亡率预测。该框架包含四种互补的提示。生成式提示为不可用的模态提供代理表示，缺失信号提示用于区分观测特征与代理表示，缺失类型提示表征模态可用性配置，时间提示则对不规则时间信息执行特定条件的聚合。这些提示被联合整合到一个多模态Transformer中，用于从不完整的EHR数据中学习缺失感知的时间、模态内和跨模态表示。

我们在两个大型公开基准数据集MIMIC-III\[16 (https://arxiv.org/html/2608.21941#bib.bib24)\]和MIMIC-IV\[15 (https://arxiv.org/html/2608.21941#bib.bib1)\]上进行了大量实验，验证了我们所提出方法的有效性和优越性。

这项工作的主要贡献有三方面：
- •我们提出了一种基于提示学习的新型框架，用于监测重症监护患者，该框架能够有效处理不规则电子健康记录中的缺失模态。
- •我们提出了四种类型的提示来解决不规则电子健康记录数据中的模态缺失问题。这些提示能够生成缺失信息，学习不规则时间模式，并有效捕获模态内和模态间信息。
- •在大型公开可用基准数据集MIMIC-III和MIMIC-IV数据集上的大量实验表明，我们所提出的方法优于所比较的方法。

## 2 相关工作

不规则电子健康记录的多模态建模。电子健康记录通常包含结构化的多变量不规则时间序列（MISTS）和时间上不规则的临床笔记。早期研究通过时间感知衰减、可学习插值、基于集合的表示或对连续时间嵌入的注意力来处理不规则性\[7 (https://arxiv.org/html/2608.21941#bib.bib26),31 (https://arxiv.org/html/2608.21941#bib.bib25),13 (https://arxiv.org/html/2608.21941#bib.bib44),32 (https://arxiv.org/html/2608.21941#bib.bib23)\]。最近的研究越来越关注联合建模结构化和非结构化的电子健康记录模态。Zhang等人提出了一个统一的不规则电子健康记录框架，该框架分别对MISTS和临床笔记序列进行建模，并通过时间交错注意力进行整合\[46 (https://arxiv.org/html/2608.21941#bib.bib20)\]。Liu和Chen进一步将领域和记忆知识融入不规则多模态电子健康记录表示中\[23 (https://arxiv.org/html/2608.21941#bib.bib22)\]，而CTPD则发现并跨患者对齐共享的跨模态时间模式\[36 (https://arxiv.org/html/2608.21941#bib.bib35)\]。这些方法改善了时间表示和多模态融合，但主要侧重于从可用的输入流中提取信息。

基于缺失临床模态的学习。缺失模态在临床数据中很常见，因为测量、笔记、图像和报告是在异构的临床工作流程下收集的。早期工作通过跨模态翻译、模态想象和缺失模态感知提示来探索缺失模态学习\[27 (https://arxiv.org/html/2608.21941#bib.bib32),48 (https://arxiv.org/html/2608.21941#bib.bib33),19 (https://arxiv.org/html/2608.21941#bib.bib34)\]。最近的临床研究考虑了更现实的场景：MUSE联合处理缺失模态和标签\[39 (https://arxiv.org/html/2608.21941#bib.bib47)\]。Wang等人解决了缺失的胸部X光片、放射学报告或结构化临床变量\[37 (https://arxiv.org/html/2608.21941#bib.bib48)\]，而Liang等人则对与患者状况或临床决策相关的缺失模式进行建模\[21 (https://arxiv.org/html/2608.21941#bib.bib41)\]。最近，Zhao等人结合模态重建和提示引导适应来处理训练和推理过程中缺失的MRI序列\[49 (https://arxiv.org/html/2608.21941#bib.bib49)\]。尽管取得了这些进展，现有方法主要强调潜在补偿、表示一致性或稳健聚合。我们的工作则将基于提示的跨模态生成与潜在流来源、整体模态可用性以及配对MISTS和纵向临床笔记的不规则时间进展的显式表示结合起来。

缺失模态的提示学习。基于提示的适应在自然语言处理中使用任务特定的自然语言模板，在视觉-语言模型中使用可学习的多模态提示令牌\[10 (https://arxiv.org/html/2608.21941#bib.bib18),18 (https://arxiv.org/html/2608.21941#bib.bib19)\]。Lee等人为具有缺失输入的视觉识别引入了多模态提示\[19 (https://arxiv.org/html/2608.21941#bib.bib34)\]。与我们的工作最为相关的是，Guo等人提出了生成式提示、缺失信号提示和缺失类型提示，用于在模态缺失情况下的多模态情感分析和情绪识别\[11 (https://arxiv.org/html/2608.21941#bib.bib21)\]。然而，这些方法是针对一般多模态设置设计的，而非针对电子健康记录数据，并且它们都没有直接处理具有异构时间模式的不规则电子健康记录中的缺失模态问题。我们通过引入时间提示并将基于提示的重建与时间感知的MISTS和临床笔记编码器相结合，适应了不规则临床数据的这种基于提示的缺失模态范式，用于ICU预后预测。

参见标题图2：提出的基于提示的框架概览，用于从不完整不规则多模态电子健康记录中进行稳健的预后预测，基于仅包含笔记的输入示例。给定仅包含笔记的输入条件，不规则笔记编码器提取可用表示，缺失模态生成模块重建缺失的MISTS流。缺失信号提示通过来源嵌入增强每个令牌，指示其模态流是观测的还是提示生成的，而缺失类型提示将样本级的模态可用性条件注入到两个融合后流中。生成的表示由时间提示进行融合和汇总，用于患者预后预测。

## 3 方法

如图2 (https://arxiv.org/html/2608.21941#S2.F2)所示，所提出的框架以多变量不规则采样时间序列和纵向临床笔记作为输入。四种类型的可学习提示被整合到一个多模态Transformer中，以建模不规则时间信息和多样化的缺失模态模式。生成的多模态表示随后被送入预测头，以估计院内死亡率的概率。

### 3.1 问题形式化

我们将重症监护监测形式化为从不规则多模态电子健康记录中进行的患者级预测问题。ICU停留的每个样本都在一个早期临床窗口内观察，即入院后的前48小时。为清晰起见，省略了样本索引。电子健康记录数据包含两种异构模态：v∈{M,N}，其中M表示MISTS，N表示临床笔记。令m∈{c,Mm,Nm}表示样本级模态条件，其中m=c表示两种模态均被观测，m=Mm表示MISTS缺失，m=Nm表示笔记缺失。输入可以形式化为

X={{(tiM,xiM)}i=1TM,(tjN,xjN)j=1TN,m}，(1)

其中tkv是观测时间，xkv是多变量临床值，Tv是观测事件的数量。对于缺失模态，相应的输入序列不可用。目标是学习ŷ=fθ(X)∈[0,1]，即48小时院内死亡率的预测风险。

### 3.2 缺失模态生成模块

由于MISTS和临床笔记在结构和时间特性上不同，我们采用独立的模态特定编码器来获取它们可用时的潜在表示：对MISTS使用UTDE编码器\[46 (https://arxiv.org/html/2608.21941#bib.bib20)\]，对临床笔记使用基于Clinical-Longformer的mTANDtxt编码器\[20 (https://arxiv.org/html/2608.21941#bib.bib46),46 (https://arxiv.org/html/2608.21941#bib.bib20)\]。

HM=EncM(XM,TM)，(2)
HN=EncN(XN,TN)，(3)

其中XM, TM分别表示MISTS的数值观测和时间戳，而XN和TN表示笔记嵌入及其时间戳。

当一个模态缺失时，我们采用缺失模态生成模块为不可用的模态构建代理表示。如图2 (https://arxiv.org/html/2608.21941#S2.F2)所示，当临床笔记被观测且MISTS缺失（m=Mm）时，HN直接从不规则笔记编码器获得，而HM则通过跨注意力机制\[35 (https://arxiv.org/html/2608.21941#bib.bib43)\]，使用生成提示PGM从HN生成：

HM=CrossAttn(PGM,HN,HN)。(4)

这里，PGM∈RL×d...