MiGHT-EHR：面向异质时序电子健康记录的多任务图变换器

# MiGHT-EHR：面向异构时间性电子健康记录的多任务图Transformer

###### 摘要

从电子健康记录（EHR）中学习因其改善临床预测的潜力而受到广泛关注。然而，由于EHR编码了异构的、按时间排序的临床交互，有效的学习仍然具有挑战性。具体而言，EHR包含：(i) 异构临床实体，包括患者、就诊、诊断、处方和手术，以及它们之间的异构交互；(ii) 跨多次住院就诊的纵向患者轨迹；(iii) 相关临床预测任务之间共享的统计依赖性。现有的EHR学习方法仅捕获了这些属性中的一部分。为弥合这一差距，我们提出了面向异构时间性EHR的多任务图Transformer（MiGHT-EHR），该方法在统一的表示学习框架中联合建模了上述所有三个属性。MiGHT-EHR从EHR中构建一个异构图，其中节点表示临床实体，边连接通过归一化逐点互信息识别出的统计关联实体。在MIMIC-III和MIMIC-IV数据集上，MiGHT-EHR在四项任务中平均优于最先进的方法：药物推荐、住院时长预测、死亡率和再入院预测，尤其在死亡率和再入院预测方面提升显著。此外，对学习表示的事后分析揭示：患者邻域按临床结局组织，显著医学概念可作为表示空间中的线性方向恢复，且任务概率校准良好。综上，这些发现表明MiGHT-EHR表示支持多样化预测任务，同时保留了临床可解释的结构。

## 1 引言

电子健康记录（EHR）不仅仅是患者孤立临床观察的集合，更编码了患者记录中临床实体之间的丰富关系。从这类数据中学习有效表示已受到广泛关注，因为它支持多种临床决策支持任务（Xiao等人, 2018 (https://arxiv.org/html/2608.06430#bib.bib166); Rajkomar等人, 2018 (https://arxiv.org/html/2608.06430#bib.bib167); Shickel等人, 2017 (https://arxiv.org/html/2608.06430#bib.bib168); Cheng等人, 2016 (https://arxiv.org/html/2608.06430#bib.bib169)）。随着EHR在规模和复杂性上的持续增长，挑战在于从连接这些观察的底层图结构中学习临床上下文。这种结构来源于三个互补的方面。首先，EHR包含异构临床实体，如患者、住院就诊、诊断、手术、处方和实验室检验，每个实体通过不同的临床关系相连。其次，这些实体随时间演化，患者积累跨越多次住院就诊的纵向医疗轨迹。最后，许多临床预测任务本质上是相关的，因为它们从同一患者群体中学习，因此共享可通过联合学习利用的统计依赖性。这些结构属性共同为表示学习提供了丰富的上下文信息。

现有方法仅捕获了这种结构的一部分。基于序列的模型捕获了EHR数据中的时间特征，但忽略了异构临床实体之间的关系（Choi等人, 2016 (https://arxiv.org/html/2608.06430#bib.bib181); Ma等人, 2017 (https://arxiv.org/html/2608.06430#bib.bib133); Rasmy等人, 2021 (https://arxiv.org/html/2608.06430#bib.bib182)）。相反，基于异构图的模型捕获了临床实体之间的关系，但常常忽略时间性患者轨迹，或仅为单一预测任务设计（Choi等人, 2020 (https://arxiv.org/html/2608.06430#bib.bib4); Liu等人, 2020 (https://arxiv.org/html/2608.06430#bib.bib136); Jung等人, 2024 (https://arxiv.org/html/2608.06430#bib.bib1)）。联合建模异构临床实体、纵向患者轨迹以及多个临床预测任务间的共享依赖性，使得从EHR中学习变得更具挑战性。

为应对这一挑战，我们提出了**MiGHT-EHR**（面向异构时间性电子健康记录的多任务图Transformer），一种用于异构时间性EHR多任务学习的新方法。MiGHT-EHR首先基于从患者记录中提取的临床实体间统计关联构建异构时间性EHR图。配备时间注意力机制的异构图Transformer随后学习用于多任务学习的共享表示。我们的主要贡献总结如下。

- 我们引入了一种图构建方法，将患者记录转换为异构时间性EHR图（定义2 (https://arxiv.org/html/2608.06430#Thmdefinition2)），其中临床实体通过三种互补的关系类型（第4.1节 (https://arxiv.org/html/2608.06430#S4.SS1)）连接：捕获EHR结构的成员关系、编码纵向患者轨迹的时间关系，以及临床实体间统计关联的共现关系。
- 我们设计了一个自监督预训练模块（第4.2节 (https://arxiv.org/html/2608.06430#S4.SS2)），增强EHR图中节点的关系特征。然后，我们使用配备时间注意力的异构图Transformer（第4.3节 (https://arxiv.org/html/2608.06430#S4.SS3)）学习节点级特征。
- 我们在训练过程中采用双平衡多任务学习（DB-MTL）框架，以均衡每个任务的梯度贡献，使所有任务得到同等学习。
- 我们在MIMIC-III和MIMIC-IV基准数据集上展示了MiGHT-EHR的有效性（第5节 (https://arxiv.org/html/2608.06430#S5)），在四项任务中平均优于最先进方法：药物推荐、住院时长预测、死亡率和再入院预测。对学习表示的事后分析表明，患者邻域按临床结局组织，显著医学概念可作为线性方向恢复，且预测概率校准良好。

## 2 相关工作

#### 面向EHR的图表示学习：
EHR编码了医学实体之间丰富的关系信息（患者进行就诊，就诊记录诊断、处方和手术），并已成为基于深度学习的临床预测的重要资源（Xiao等人, 2018 (https://arxiv.org/html/2608.06430#bib.bib166); Rajkomar等人, 2018 (https://arxiv.org/html/2608.06430#bib.bib167); Shickel等人, 2017 (https://arxiv.org/html/2608.06430#bib.bib168); Cheng等人, 2016 (https://arxiv.org/html/2608.06430#bib.bib169)）。越来越多的基于图的模型，如图神经网络（GNNs）（Boll等人, 2024 (https://arxiv.org/html/2608.06430#bib.bib22); Paul等人, 2024 (https://arxiv.org/html/2608.06430#bib.bib170); Choi等人, 2020 (https://arxiv.org/html/2608.06430#bib.bib4)），已被用于利用固有的关系结构。早期方法将EHR建模为同质图（Choi等人, 2017 (https://arxiv.org/html/2608.06430#bib.bib139); Yao等人, 2024 (https://arxiv.org/html/2608.06430#bib.bib172); Wu等人, 2021 (https://arxiv.org/html/2608.06430#bib.bib130)），但不同医学实体扮演着不同角色，并通过不同语义关系连接，这促使了异构GNN公式的发展（Liu等人, 2020 (https://arxiv.org/html/2608.06430#bib.bib136); Wanyan等人, 2020 (https://arxiv.org/html/2608.06430#bib.bib7); Jung等人, 2024 (https://arxiv.org/html/2608.06430#bib.bib1); Wang等人, 2024 (https://arxiv.org/html/2608.06430#bib.bib23)）（见定义1 (https://arxiv.org/html/2608.06430#Thmdefinition1)）。然而，这些方法忽略了患者连续就诊之间的时间依赖性。基于序列的模型捕获了时间顺序，但丢弃了临床实体之间的关系（Ma等人, 2017 (https://arxiv.org/html/2608.06430#bib.bib133); Nguyen等人, 2016 (https://arxiv.org/html/2608.06430#bib.bib138); Ma等人, 2020b (https://arxiv.org/html/2608.06430#bib.bib141); Gao等人, 2020b (https://arxiv.org/html/2608.06430#bib.bib145)）。我们转而提出一种配备时间注意力的异构图Transformer模型，在统一表示中联合捕获异构实体交互和时间依赖性。

#### 图构建与多任务学习：
前述方法假设图是给定的，但其边必须首先被构建。从EHR构建的知识图谱通常以共现频率对边进行加权（Mythili等人, 2022 (https://arxiv.org/html/2608.06430#bib.bib17); Murali等人, 2023 (https://arxiv.org/html/2608.06430#bib.bib174); Li等人, 2020 (https://arxiv.org/html/2608.06430#bib.bib175)），这受到实体频率的混淆，因为常见实体频繁共现，因此边反映的是热度而非关联。我们转而通过归一化逐点互信息（NPMI，公式(3) (https://arxiv.org/html/2608.06430#S4.E3)）形成边，仅当NPMI值大于某一阈值时才连接两个实体。给定这样一个图，共享编码器可通过利用其关系结构服务于多个临床任务。先前的多任务学习方法（Chan等人, 2024 (https://arxiv.org/html/2608.06430#bib.bib3); Hur等人, 2023 (https://arxiv.org/html/2608.06430#bib.bib177); Cui和Mitra, 2024 (https://arxiv.org/html/2608.06430#bib.bib176)）将任务损失统一处理。然而，在实践中，任务在损失尺度和梯度量级上存在差异，因此最大梯度的任务主导共享编码器。我们采用用于多任务学习的双平衡方法（DB-MTL）（Lin等人, 2023 (https://arxiv.org/html/2608.06430#bib.bib165)），它均衡每个任务的梯度尺度和量级，使每个任务贡献相等。

## 3 预备知识与问题定义

我们首先介绍异构图，并将这一概念扩展到异构时间性EHR图。然后，我们在此类图上定义多任务学习，并最后给出本文研究的问题。

###### 定义1（异构图）。
一个*异构图*是一个元组 \(\mathcal{G}=(\mathcal{V},\mathcal{E},\phi,\psi)\)，其中包含节点集合 \(\mathcal{V}\)，边集合 \(\mathcal{E}\subseteq\mathcal{V}\times\mathcal{V}\)，一个节点类型映射 \(\phi:\mathcal{V}\to\mathcal{T}_{\mathcal{V}}\)，以及一个关系类型映射 \(\psi:\mathcal{E}\to\mathcal{T}_{\mathcal{E}}\)。当 \(|\mathcal{T}_{\mathcal{V}}|+|\mathcal{T}_{\mathcal{E}}|>2\) 时，图 \(\mathcal{G}\) 是异构的。

虽然定义1 (https://arxiv.org/html/2608.06430#Thmdefinition1) 捕获了EHR数据的异构结构，但它没有考虑其时间性。实际上，每个患者积累了一个按时间顺序排列的就诊序列，而这种时间顺序携带预测信息。以下定义将异构图形式主义扩展到异构时间性EHR图。

###### 定义2（异构时间性EHR图）。
一个*异构时间性EHR图*是一个异构图 \(\mathcal{G}=(\mathcal{V},\mathcal{E},\phi,\psi)\)（定义1 (https://arxiv.org/html/2608.06430#Thmdefinition1)），其中每个就诊节点 \(v\in\mathcal{T}_{\mathcal{V}}\) 带有一个时间戳 \(t_{v}\in[0,1]\)，且有一个时间关系 \(\texttt{next\_visit}\in\mathcal{T}_{\mathcal{E}}\)，该关系链接每位患者在时间上连续的就诊。更准确地说，对于同一患者的两个就诊 \(u,v\)，

\(\displaystyle\psi(u,v)=\texttt{next\_visit}\;\iff\;t_{u}\leq t_{v}\ \text{ and }\ \nexists w:\ t_{u}\leq t_{w}\leq t_{v}\)