课程感知的插值-然后精炼：在现实缺失条件下的学习生理时间序列插补

# 1 引言
来源：https://arxiv.org/html/2608.21207
页边距解析已更改。上边距已更改。页边距推送已更改。页面布局违反了 ICML 样式。请勿更改页面布局，或包含像 geometry、savetools 或 fullpage 这样会为你更改布局的包。我们无法可靠地撤销对样式的任意更改。请删除有问题的包，或更改布局的命令，然后重试。
课程感知插值后精炼：在现实缺失条件下学习的生理时间序列插补
黄宇超，张浩晨，Nicholas Konz，陈天龙
1\{\}^\{1\\,\}北卡罗来纳大学教堂山分校 UNITES 实验室
00脚注文本:🖂\{\}^\{\\textrm\{\\Letter\}\}通讯作者：\{morris, haochenz, nick124, tianlong\}@cs\.unc\.edu
预印本。审阅中。
###### 摘要
插补生理时间序列（如动脉血压、血糖等）对于解决临床数据中普遍存在的缺失问题至关重要。然而，现代插补方法在此领域表现不佳：最近的一项基准测试发现，在具有现实缺失间隙的真实临床信号上，简单的线性插值优于每一个学习型插补器。我们证明这反映了生理缺失性的两个被通用插补器所忽视的特性：间隙可能发生在信号处于临床极端值而非典型值时，且间隙长度可能轻松跨越数量级。为此，我们提出了课程感知插值后精炼，这是一个用于生理时间序列插补的两阶段框架。我们的核心动机是学习一个粗糙的基础曲线，然后反复将其修正为符合生理现实，而不是一次预测整个间隙。因此，CAIR 将一个双向 GRU 插值器与一个 Transformer 精炼器相结合，该精炼器在三个连续的传递过程中对其自身估计进行修正，并在广泛、信号无关的随机间隙课程下联合训练。我们按间隙长度和缺失机制（MCAR、MAR、NMAR）而非单一平均值来分层评估插补器，CAIR 在连续血糖监测（AI-READI）和重症监护动脉血压（MIMIC-III）的所有机制下都是最准确的。其相对于最强基线的优势随难度增加，在 MCAR 下为 9%，在值依赖性丢失下增长到 19%，而通用学习型插补器在此最弱。我们进一步表明，仅有低重建误差并不能恢复临床医生所依赖的负担指标：与 CAIR 误差匹配的插值无法保留这些指标，能够恢复它们的插补器准确度则低得多，而 CAIR 是唯一在两方面都跻身最佳之列的方法。

### 1 引言
(a) 生理数据中的缺失性
(b) 经典插值
(c) 通用学习型插补器
(d) CAIR（我们的方法）
x^=f⁡\(x⊙m,m\)\\widehat\{x\}=f\(x\\odot m,\\,m\)
五种掩码模式，一个真实的 CGM 日
MCAR
分散的
200
100
葡萄糖\(mg/dL\)
MAR
活动
活动
NMAR
极端值
150
间隙长度
15 分钟 – 6 小时
生理性事件对齐的块
进餐
睡眠
上升\.下降\.
间隙是机制驱动的，长度跨越两个数量级
线性⋅\\cdot
PCHIP⋅\\cdot
akima
短间隙
15 分钟
长间隙
小时
在短间隙上表现良好；填充仅依赖于两个端点
无法恢复长间隙
仅 MCAR 掩码训练
通用序列模型
在从未发生过的模式上训练；抑制了其必须恢复的偏离
x⊙mx\\odot m
m
m
上下文
cc
步骤
⋅\\cdots
睡眠
⋅\\cdot
压力
⋅\\cdot
共记录的生命体征
第 1 阶段
⋅\\cdot
BiGRU 插值器
0
y^\{0\}
条件设定
第 2 阶段
⋅\\cdot
Transformer 精炼器\+\+残差基
×3
\\times 3
精炼传递
传递 1
传递 2
传递 3（最终）
x^\\widehat\{x\}
基础曲线是学习得到的，而非计算得出；联合训练并与机制匹配

图 1：方法概述。
符号说明：x∈RTx\\in\\mathbb\{R\}^\{T\} 是完整信号，m∈\{0,1\}Tm∈\\\{0,1\\\}^\{T\} 是其观测掩码（当xtx_\{t\} 被记录时 m\_t=1m_\{t\}=1），因此逐元素乘积x⊙mx\\odot m 是观测到的（有间隙的）轨迹；cc 收集共记录的上下文通道（步骤、睡眠、压力、第二个生命体征）；ff 是一个插补器，其重建为x^=f⁡\(x⊙m,m\)\\widehat\{x\}=f\(x\\odot m,\\,m\)；y0y^\{0\} 是第 1 阶段的基础曲线。阴影带贯穿始终标记掩码段。每条轨迹均为 AI-READI CGM 记录：(a) 是一名参与者的 24 小时日，(b)–(d) 放大其中一次餐后偏离，(b) 的顶行进一步放大以显示一个1515分钟的间隙。
(a) 本文评估的五种掩码模式，均在同一条信号上：MCAR 散布孤立点；MAR 删除由共记录活动触发的连续块；NMAR 删除由目标自身临床极端值触发的块（此处为每次超过150150 mg/dL）；间隙长度协议扫描从1515分钟到数小时的单个块；生理协议掩码事件对齐的块。灰色虚线是每个掩码移除的信号。
(b) 确定性插值是当前部署的默认方法，在短间隙上准确，但它们在间隙内填充的内容仅是两个端点的函数，因此长间隙会被一条弦填充，无法表达其所跨越的偏离。
(c) 通用学习型插补器在 MCAR 下训练，而这是唯一不会发生的模式，因此会抑制其必须恢复的偏离。
(d) CAIR *学习*那个基础曲线，而不是计算它：一个联合训练的 BiGRU 插值器，其基础曲线y0y^\{0\} 既作为条件也作为残差基输入到 Transformer 精炼器中，展开进行三次传递，并以部署环境中提供的任何共记录上下文为条件。

生理时间序列，如连续血糖监测、心率、呼吸和重症监护生命体征，是现代数据驱动医学的原始材料，且它们很少是完整的。传感器脱落，可穿戴设备没电，患者移动，临床设备在手术过程中断开连接。每一个后续步骤，从计算血糖负担指标到训练风险模型，都必须先决定缺失值是什么。因此，插补不是一个预处理细节，而是一个建模选择，它会传播到从数据中得出的每一个临床结论中。
显而易见的补救措施是学习型插补器，现在已有丰富的系列。然而，最近的一项真实世界基准测试报告了一个负面结果：在具有现实间隙的临床信号上，*线性插值*优于所有测试过的方法，包括深度学习模型。我们认为这并非学习无益的证据，而是反映了生理缺失性的两个被通用插补器和标准评估协议都忽视的特性：
1. (C1) 缺失性是机制驱动的，而非随机的。我们采用了Rubin 1976的分类法，其中当样本丢失概率与数据独立时，缺失性为*完全随机缺失*；当该概率仅依赖于观测到的量（如共记录的协变量）时，为*随机缺失*；当其依赖于缺失值本身时，为*非随机缺失*。生理传感器在活动和最重要的临床极端值期间更容易失效，因此其间隙是MAR或NMAR，而非MCAR。因此，在MCAR下训练和评分的插补器，被优化的是唯一永远不会发生的模式。
2. (C2) 间隙长度跨越数量级。一条轨迹包含单个丢弃的样本和多小时的空洞。在固定掩码协议上平均误差，会使罕见的长间隙主导平均值，因此单一分数可能将一种方法排在第一位，而它在临床实践所需的短间隙模式上实际上更差。
我们引入了课程感知插值后精炼，这是一种围绕这两个特性设计的两阶段神经插补器。我们的核心动机是，经典插值的优势是一个*起点*，而非天花板：构建一条尊重观测端点的粗糙曲线是直截了当的，挑战在于将其修正为符合生理现实。然而，确定性插值器预先固定了这个起点：它们在间隙内填充的内容仅是两个端点的函数，这使得它们在少数缺失样本上准确，但无法表达多小时的偏离。因此，CAIR*学习*基础曲线，而不是计算它。
第 1 阶段是一个双向GRU，它根据观测值和掩码在每个位置预测一条基础曲线。第 2 阶段是一个Transformer编码器，它接收这条基础曲线（既作为条件也作为残差），连同数据集提供的任何其他模态，并在三个连续的精炼传递过程中对其进行修正，每次传递以前一次估计为条件。
为了解决(C1)，CAIR在信号无关的随机间隙课程下训练，该课程混合了分散的丢弃和连续块，而不是在评估时使用的单一掩码模式。训练间隙分布被证明与架构同样重要，方法名称反映了这一点：当在针对源域生理特性定制的掩码上训练时，*相同*的网络获得的误差高于线性插值；而在广泛课程下训练时，在所有三种机制下误差都更低（第 4.6 节）。
为了解决(C2)，我们按间隙长度和缺失机制分层评估每种方法，而不是报告单一平均值，我们表明方法的排名取决于长度模式，因此单一平均分数无法表达它（第 4.3 节）。

##### 贡献。我们的贡献是三方面的：
- • 方法论上，我们提出了 CAIR，一个两阶段插补器，用联合训练的学习型插值器取代确定性插值器，并使用迭代展开的 Transformer 对其进行精炼。该设计针对上述生理缺失性的两个特性（C1, C2），而非通用序列建模。
- • 实证上，跨两个临床领域——来自 AI-READI 的连续血糖监测和来自 MIMIC-III 的动脉血压——CAIR 在所有三种机制下达到了我们评估的所有方法中最低的重建误差，并且其相对于最强基线的优势随难度*增长*：在 MCAR 下为 9%，在 MAR 下为 16%，在 NMAR 下为 19%。Toye 等人报告为失败案例的通用学习型插补器在此同样失败，这孤立了模型设计和训练方式（而非神经网络能力）作为性能提升的原因。
- • 分析上，我们证明低重建误差和忠实的下游临床指标是不同的维度。与 CAIR 重建误差匹配的插值无法保留临床医生读取的负担指标（线性插值仅恢复了 MIMIC-III 上可恢复负担的 0.14），而恢复负担的表格和神经插补器则产生高 10–60% 的误差。CAIR 是唯一在两个维度都跻身最佳之列的方法。

### 2 相关工作
##### 经典和统计插补。已部署的临床流程仍然依赖确定性插值器：线性填充、保持形状的三次样条如 PCHIP 和 akima，以及平滑器如 Savitzky–Golay。它们没有拟合成本，并且在短间隙上保持准确，这就是为什么它们仍然是计算 CGM 指标的默认方法。统计插补器（如 MICE、missForest、kkNN 和 hot-deck）则将序列表视为特征表格，以牺牲时间平滑性为代价恢复了插值器丢弃的分布结构。这两类方法都具有 CAIR 所针对的特性：它们在间隙内填充的内容是预先确定的，要么由两个端点决定，要么由边缘分布决定，无法适应消费它的模型。CAIR 保留了激励经典先验的插值后精炼结构，但使第一阶段成为可学习且可端到端训练的，因此基础曲线能适应精炼器。

##### 学习型时间序列插补。循环插补器直接利用信息性缺失：GRU-D 使用向经验均值衰减，BRITS 双向插补并保持方向间一致性，M-RNN 结合了流内和流间循环。基于注意力和生成式方法随之出现。与 CAIR 最接近的是 SAITS，它用一个对角掩码的自注意力块进行估计，将这些估计写回输入，然后用第二个块重新估计，并监督两者；我们保留了该结构，但将第一阶段设为一个信息受限的循环插值器，在其上展开一个权重共享的精炼器，并在每次传递时用来源代码标记模型自身的填充。另一条独立路线使插值步骤本身成为学习的：插值预测网络和 mTAN 将一个学习的插值层附加到下游网络，并端到端训练这对组合。这些层是核平滑器，设计用于将不规则样本放置在规则网格上，并馈送给分类器；CAIR 的第 1 阶段是一个循环序列模型，直接针对保留值进行监督，其馈送给一个修正它的精炼器。GP-VAE 在 VAE 潜在空间中放置高斯过程先验，CSDI 运行基于条件得分的扩散，而像 TimesNet 这样的骨干网络将插补视为多项任务之一。所有这些都是领域无关的，我们的结果表明生理插补需要一个领域特定的模型：M-RNN 和 GP-VAE 在 CGM 和 ICU 生命体征上都低于每一个非常量基线。