面向缺失数据的模式感知图神经网络

# 模式感知图神经网络处理缺失数据

来源：https://arxiv.org/html/2607.08915  
Minett Tran, Taehee Jeong 本研究部分由圣何塞州立大学获得的 Mobilint 资助支持。（通讯作者：Taehee Jeong）

###### 摘要

缺失数据在现实数据集中普遍存在。传统方法要么丢弃不完整样本，要么应用忽略潜在信息性缺失模式的插补技术，隐含假设缺失是随机发生的。然而，缺失模式可能提供额外信息。我们提出模式感知图神经网络，该网络在观测值之外显式编码哪些特征缺失。我们采用了四种编码策略——学习嵌入、冻结随机嵌入、统计特征和层次表示——并在七个具有自然缺失模式的 UCI 数据集上进行评估。我们的模式感知方法相对于基线取得了显著改进，在所有数据集上平均平衡准确率提升 17%，宏 F1 提升 22%。不同数据集的收益差异显著：退火数据集显示巨大改进（平衡准确率 +80%），而肝炎和大豆数据集仅显示微小增益（+4–5%）。值得注意的是，即使是简单的随机模式嵌入也表现出与学习嵌入相当的性能（平衡准确率 0.650 vs 0.663），这表明区分模式可能比任务特定优化更重要。我们的消融研究表明，当模式信息可用时，注意力机制虽然有帮助，但并非关键——简单的均值聚合结合模式感知可实现 0.640 的平衡准确率，而注意力变体为 0.645。我们的代码和数据可在 https://github.com/TranMinett/pattern_aware_GRAPE 获取。

## I 引言

†† 2026 年人工智能与机器学习进展国际会议（AAIML），2026 年 3 月 20-22 日，IEEE 版权所有 2026 缺失数据在现实数据集中普遍存在：医疗记录常缺失诊断测试，调查受访者经常跳过问题，传感器会定期故障。传统方法通过删除缺失值样本或使用均值替换、k 近邻等方法进行插补来处理这种不完整性。然而，这些方法基于一个关键假设——缺失是随机发生的。

考虑一个临床场景：医生仅为出现严重症状的患者安排大量诊断测试。在这种情况下，哪些测试缺失揭示了关于疾病严重程度的信息，而这些信息独立于测试结果本身。传统插补方法忽略了这个信号，只专注于估计未观测值，而不是利用缺失的信息性结构。

图神经网络（GNN）提供了一种处理不完整数据的替代范式。GRAPE[1 (https://arxiv.org/html/2607.08915#bib.bib1)] 将每个样本数据表示为一个二分图，其中特征节点仅连接到观测值，自然地适应任意缺失模式而无需插补。然而，GRAPE 将所有缺失模式等同对待：两个缺失测试模式不同的患者，只要他们观测特征的共享值相同，就会得到相同的图结构，从而丢弃了关于哪些测量被认为必要的潜在有价值信息。

这引出了一个基本问题：显式编码缺失模式是否能提高预测性能？关键的是，在什么条件下这种增加的复杂性是合理的？这些问题具有超越学术兴趣的实际意义，因为模式感知方法会引入架构复杂性和计算开销，而这并非总是值得的。

我们提出了 GRAPE 的模式感知扩展，通过多种嵌入策略显式编码缺失模式。我们开发了四种方法：与模型端到端训练的学习嵌入、训练期间从不更新的冻结随机嵌入、从缺失模式导出的统计特征，以及学习压缩模式表示的层次编码。通过在七个不同数据集上的评估，我们观察到了显著但异质的改进。

我们的主要贡献是：

- • 融合缺失模式的模式感知图神经网络，在七个数据集上平均平衡准确率提升 17%
- • 证据表明简单的随机嵌入（平衡准确率 0.650）与学习嵌入（0.663）性能相当，表明模式区分比优化更重要
- • 证明注意力机制在模式信息可用时变得不那么关键——简单的均值聚合取得了有竞争力的结果（0.640 vs 0.645）
- • 分析揭示了数据集的特定有效性范围，从 80% 的提升（退火）到 4%（肝炎、大豆）

参见图注 图 1：模式感知 GRAPE 架构。左：具有缺失值（NA）的数据矩阵被转换为二分图，其中仅对观测特征存在边。中：提取二值缺失模式 m 并通过 φ(m) 编码生成模式嵌入 e_p。右：模式嵌入与观测节点表示在消息传递前拼接，使模型能够区分具有不同缺失模式的样本。
## II 背景

### II-A 缺失数据机制

缺失数据文献区分了三种基本机制 [2 (https://arxiv.org/html/2607.08915#bib.bib2), 3 (https://arxiv.org/html/2607.08915#bib.bib3)]。完全随机缺失（MCAR）发生在缺失与观测数据和未观测数据均无关时——例如，设备随机故障，与患者特征无关。随机缺失（MAR）发生在缺失依赖于观测数据但不依赖于缺失值本身时——例如，年轻患者完成可选问卷的可能性较小。非随机缺失（MNAR）表示缺失依赖于未观测值本身的情况，例如高收入个体恰恰因为他们不想完全披露而拒绝报告收入。

大多数插补方法假设 MCAR 或 MAR 条件。传统方法包括均值插补、k 近邻（KNN）[4 (https://arxiv.org/html/2607.08915#bib.bib4)] 和链式方程多重插补（MICE）[5 (https://arxiv.org/html/2607.08915#bib.bib5)]。虽然这些方法在 MCAR 或 MAR 下表现良好，但在 MNAR 下可能引入偏差，因为它们未能考虑缺失的信息性本质。模式混合模型 [6 (https://arxiv.org/html/2607.08915#bib.bib6)] 和选择模型 [7 (https://arxiv.org/html/2607.08915#bib.bib7)] 显式处理 MNAR，但需要强参数假设，这限制了其实用性。

我们的方法不假设特定的缺失机制。相反，我们通过实验测试融合缺失模式是否能改善预测，这在模式与目标变量相关的 MAR 或 MNAR 条件下可能有益。

### II-B 用于表格数据的图神经网络

通用神经网络期望固定长度的特征向量，这与不完整数据（不同样本可能具有不同的观测特征子集）不匹配。图神经网络（GNN）通过灵活且自然适应可变结构的图表示来解决这个问题。

GRAPE[1 (https://arxiv.org/html/2607.08915#bib.bib1)] 为每个样本创建一个单独的二分图，包含一个观测节点和每个变量一个特征节点。边仅对观测值连接观测节点和特征节点，每条边携带观测值作为属性。该架构采用消息传递 [10 (https://arxiv.org/html/2607.08915#bib.bib10), 11 (https://arxiv.org/html/2607.08915#bib.bib11)] 通过该图结构传播信息，生成输入给分类器的观测节点嵌入。

GRAPE 在缺失数据基准测试中表现出色 [1 (https://arxiv.org/html/2607.08915#bib.bib1)]。然而，GRAPE 的原始构造有一个局限性：虽然图结构反映了哪些特征被观测到，但缺失模式并未作为可学习特征显式表示。因此，模型无法学习到缺失特征的模式本身可以有助于预测结果。最近的工作已开始通过模式自适应学习 [8 (https://arxiv.org/html/2607.08915#bib.bib8)] 和基于缺失数据模式的条件注意力方法 [9 (https://arxiv.org/html/2607.08915#bib.bib9)] 来解决这一局限性。

### II-C 深度学习中的模式嵌入

最近的工作探索了将缺失模式融合到神经网络架构中。简单的方法附加二值指示符特征 [12 (https://arxiv.org/html/2607.08915#bib.bib12)]，而更复杂的方法如 GAIN [13 (https://arxiv.org/html/2607.08915#bib.bib13)]、MisGAN [14 (https://arxiv.org/html/2607.08915#bib.bib14)]、HI-VAE [15 (https://arxiv.org/html/2607.08915#bib.bib15)] 和 VAEM [16 (https://arxiv.org/html/2607.08915#bib.bib16)] 学习数据和缺失的联合表示。然而，这些方法主要针对插补质量，而不是从不完整数据直接预测。相反，我们直接在不完整数据上操作，无需插补，利用图表示同时使用显式模式编码进行增强。

## III GRAPE 架构及其局限性

### III-A 图构建

GRAPE 将每个数据样本表示为一个二分图，包含一个观测节点 v_0 和 d 个特征节点 v_1,...,v_d。边 (v_0, v_i) 仅在特征 i 被观测到时连接观测节点和特征节点 i，并携带观测值 x_i 作为边属性。节点特征使用独热编码来区分节点类型和身份。

### III-B 消息传递与局限性

GRAPE 架构使用图注意力网络 [11 (https://arxiv.org/html/2607.08915#bib.bib11)] 通过二分图传播信息。特征节点从其连接的边聚合信息，观测节点从所有连接的特征节点聚合信息。这为观测节点生成了一个固定大小的嵌入，作为分类器的输入。

GRAPE 的关键局限性在于其图结构仅依赖于观测值，而不依赖于缺失模式。两个在相同特征子集上具有相同值的样本会产生相同的嵌入，无论其他哪些特征缺失。例如，当医生为症状相似的患者安排不同的测试时，这种嵌入过程会丢弃潜在有价值的诊断信息。

## IV 模式感知 GRAPE

我们通过将模式嵌入融合到观测节点表示中，扩展了 GRAPE 以显式编码缺失模式。图 1 (https://arxiv.org/html/2607.08915#S1.F1) 说明了我们的模式感知 GRAPE 架构。设 m ∈ {0,1}^d 为二值缺失指示符向量，其中 m_i = 1 表示特征 i 被观测到。我们计算模式嵌入 e_p = f(m) 并在消息传递前将其融入观测节点。

### IV-A 模式编码策略

我们研究了四种计算模式嵌入的方法：

**学习模式嵌入：** 我们维护一个可学习嵌入矩阵 E ∈ R^{P × d_emb}，其中 P 是训练集中唯一模式的数量，d_emb 是嵌入维度。每个唯一模式被分配一个索引，通过表查找检索嵌入。嵌入与模型其余部分端到端训练。

**随机模式嵌入：** 我们不学习模式特定的嵌入，而是使用受 Johnson-Lindenstrauss 引理 [17 (https://arxiv.org/html/2607.08915#bib.bib17)] 启发的随机投影。我们计算 e_p = W_r m，其中 W_r ∈ R^{d_emb × d} 是一个随机高斯矩阵，在训练期间保持冻结。这提供了一个固定的、模式特定的签名，无需任务特定优化。

**统计模式特征：** 我们计算缺失模式的统计摘要：（1）观测特征的比例，（2）缺失特征的数量，（3）第一个和最后一个缺失特征的位置，以及（4）最长连续缺失特征序列的长度。这些特征被拼接并通过一个学习到的线性投影来生成模式嵌入。

**层次模式嵌入：** 我们对二值指示符向量应用两层前馈网络，生成一个压缩表示，模型可以自适应以捕获相关的模式结构。第一层将 m 投影到隐藏维度，应用 ReLU 激活，第二层投影到嵌入维度。

### IV-B 与 GRAPE 的集成

模式嵌入在第一个消息传递层之前与观测节点的初始特征拼接。这使得模式信息可以在所有聚合步骤中通过图流动。因此，观测节点既从观测特征的值（通过边消息）接收信息，也从哪些特征可用的模式（通过模式嵌入）接收信息。

形式上，如果 h_0^{(0)} 表示观测节点的初始特征，e_p 是模式嵌入，我们将观测节点初始化为 h_0 = [h_0^{(0)} ∥ e_p]，其中 ∥ 表示拼接。然后在此增强表示上执行标准 GRAPE 消息传递。

表 I：整体性能（7 个数据集的均值±标准差）

## V 实验设置

### V-A 数据集

我们评估了来自 UCI 机器学习库的七个具有自然缺失数据的数据集：

- • Annealing（退火）（898 个样本，38 个特征，65% 缺失）：钢退火预测
- • Hepatitis（肝炎）（155 个样本，19 个特征，5.7% 缺失）：肝炎生存预测
- • Soybean（大豆）（307 个样本，35 个特征，6.6% 缺失）：大豆疾病分类
- • Thyroid（甲状腺）（3,772 个样本，25 个特征，78.2% 缺失）：甲状腺疾病诊断
- • Voting（投票）（435 个样本，16 个特征，5.6% 缺失）：国会投票模式
- • Physionet Sepsis（脓毒症）（5,000 个样本，40 个特征，28.6% 缺失）：早期脓毒症预测
- • NHANES（8,591 个样本，145 个特征，39.3% 缺失）：健康状况分类

### V-B 方法与基线

我们将模式感知 GRAPE 变体与以下传统基线进行比较：

**插补基线：** 均值插补、中位数插补、KNN 插补（k=5）和 MICE [5 (https://arxiv.org/html/2607.08915#bib.bib5)]。插补后，训练标准前馈网络。

**GRAPE 基线（无模式感知）：**

- • GRAPE-NoPattern：原始 GRAPE，在二分图上使用图注意力网络（GAT），无模式编码
- • GRAPE-Bipartite：标准 GRAPE 实现，使用 GAT，无模式编码

**模式感知方法（GAT + 模式编码）：**

- • GRAPE-LearnedPattern：GAT 与学习模式嵌入
- • GRAPE-RandomPattern：GAT 与冻结随机模式嵌入
- • GRAPE-Statistical：GAT