插补与聚类相结合：利用潜在子组结构进行缺失数据恢复

# 插补遇上聚类：利用潜在子群结构实现缺失数据恢复
来源：https://arxiv.org/html/2607.06930
Chuyao Zhang, E Li, Taochen Chen, Yiqun Zhang, Yuzhu Ji, Shuping Zhao, Peng Liu, Yiu\-ming Cheung

11institutetext:广东工业大学，广州，中国
11email:\{zhangchuyao, lie1, chentaochen1\}@mails\.gdut\.edu\.cn
11email:\{yqzhang, yuzhu\.ji, shupingzhao, liupeng\}@gdut\.edu\.cn22institutetext:香港浸会大学，香港，中国
22email:ymc@comp\.hkbu\.edu\.hkE LiTaochen ChenYiqun Zhang \(✉\) Yuzhu JiShuping ZhaoPeng LiuYiu\-ming Cheung

###### 摘要

缺失数据在实际应用中普遍存在，有效的插补是下游分析的关键预处理步骤。真实世界的数据集通常包含多个具有不同分布的潜在子群，呈现复杂的潜在结构。然而，现有方法常常忽视这种总体异质性。在缺乏明确结构指导的情况下，这些方法倾向于生成模糊子群边界且缺乏实例保真度的通用估计。虽然融入子群信息提供了一种补救措施，但面临循环依赖：可靠的子群识别需要完整数据，而数据完成正是插补的目标本身。为解决此问题，我们提出CAGI（聚类感知生成式插补），一个将聚类和插补重新定义为相互强化的协同优化过程的框架。CAGI采用“划分-引导-恢复”策略，其中动态聚类分配作为局部先验来条件化生成对抗网络。通过建立迭代反馈循环，逐步优化聚类结构和插补值，使其逼近真实的子群分布。为确保分布稳定性，CAGI进一步采用结合实例级重建和分布级正则化的多层次优化目标。在14个基准数据集和15个代表性基线上的大量实验证明了CAGI的优越性。源代码可在以下地址获取：https://github.com/supercocachii/CAGI。

## 1 引言

参考图1图1：无监督设置下子群异质性的插补动机示例。子群颜色仅用于说明。（a）包含两个潜在子群（其成员身份未知）的不完整数据。（b）对潜在结构无感知的全局插补偿向于全局平均，产生错位的值。（c）CAGI发现子群结构（阴影区域表示学习到的聚类边界）并恢复正确区域。

缺失值在现实世界数据集中普遍存在，源于传感器故障[42 (https://arxiv.org/html/2607.06930#bib.bib48)]、人为输入错误、隐私保护机制及其他因素[1 (https://arxiv.org/html/2607.06930#bib.bib35)]。这种不完整性对下游学习任务构成根本性风险，降低分类精度，产生不可靠的聚类，并给自动化决策系统引入偏差[3 (https://arxiv.org/html/2607.06930#bib.bib1)]。为缓解这些风险，**插补**，即基于可用信息估计未观测条目合理值的过程，已成为广泛使用的预处理步骤。关键在于，插补不仅仅是填补空白；其根本目标是从部分观测样本中恢复真实的潜在分布，从而为后续分析提供可靠基础。

缺失数据机制通常分为三类[18 (https://arxiv.org/html/2607.06930#bib.bib29)]：(1) 完全随机缺失(MCAR)，其中缺失与所有数据独立；(2) 随机缺失(MAR)，其中缺失仅依赖于观测值；(3) 非随机缺失(MNAR)，其中缺失依赖于未观测值本身。过去十年，插补方法取得了显著进展。按照近期插补基准测试的常见做法[34 (https://arxiv.org/html/2607.06930#bib.bib14),10 (https://arxiv.org/html/2607.06930#bib.bib27)]，本文聚焦于MCAR设定。

早期的统计方法如均值/众数替代[18 (https://arxiv.org/html/2607.06930#bib.bib29)]和EM算法[9 (https://arxiv.org/html/2607.06930#bib.bib3)]提供了简单可解释的解决方案，但依赖于参数化或线性假设，限制了其表达能力。迭代条件方法如MICE[32 (https://arxiv.org/html/2607.06930#bib.bib2)]和MissForest[29 (https://arxiv.org/html/2607.06930#bib.bib6)]通过链式条件模型或随机森林估计缺失值，但在具有复杂变量间结构的高维数据上可能面临可扩展性挑战。最近，深度生成模型提供了更具表达力的替代方案。基于GAN的方法如GAIN[33 (https://arxiv.org/html/2607.06930#bib.bib9)]通过对抗训练建模数据分布，基于VAE的方法如MIWAE[20 (https://arxiv.org/html/2607.06930#bib.bib10)]通过变分推断学习潜在表示，基于扩散的方法如TabCSDI[48 (https://arxiv.org/html/2607.06930#bib.bib12)]和DiffPuter[35 (https://arxiv.org/html/2607.06930#bib.bib28)]通过迭代去噪重建数据。这些方法展示了捕获复杂特征相关性的卓越能力。

尽管功能强大，现有方法通常将数据集视为一个整体，隐含地在所有样本上学习一个平滑的单模态流形。这一假设忽视了实践中普遍存在的潜在总体异质性。现实世界数据集通常由多个具有不同统计特征子群组成。例如，临床诊断中的患者可能属于不同的疾病亚型，而营销数据库中的客户则属于不同的人口统计细分。当在没有明确结构指导的情况下，在这样的分布异质数据上训练统一模型时，学习到的分布会混淆多个模态，变成全局平均值。如图1 (https://arxiv.org/html/2607.06930#S1.F1)所示，考虑一个包含两个子群且含有缺失值的数据集（图1 (https://arxiv.org/html/2607.06930#S1.F1)(a)）。一个对潜在结构无感知的全局插补模型会生成反映跨子群平均边际分布的估计（图1 (https://arxiv.org/html/2607.06930#S1.F1)(b)）。这些插补值位于特征空间中“平均而言合理”，但“对任何特定子群都不正确”的区域。这导致两个关键问题：**分布偏移**发生在插补值偏离每个子群的真实条件分布时，而**边界违反**发生在插补值跨越子群边界并扭曲子群结构时。此类错误不仅仅是理论上的担忧。例如，在临床应用中，不考虑疾病亚型而插补生物标志物值可能会掩盖重要的诊断信号。

一个自然的补救措施是先通过聚类识别子群，然后在每个子群内进行插补。然而，这一直接策略遇到了根本性的循环依赖：可靠的子群识别需要完整的数据，而完整的数据正是插补的目标。先前的两阶段方法[27 (https://arxiv.org/html/2607.06930#bib.bib7),13 (https://arxiv.org/html/2607.06930#bib.bib8)]采用“先聚类后插补”的流程，将聚类分配视为一次性预处理输出。由于初始聚类分配中的错误被不可逆地固定，这些方法无法在学习过程中纠正子群结构。

因此，本文提出CAGI（聚类感知生成式插补），将聚类和插补重新定义为耦合的协同优化过程。关键洞察在于，识别潜在结构和恢复缺失值是相互耦合的目标，可通过迭代反馈相互增强。遵循“划分-引导-恢复”策略，CAGI首先通过容忍缺失的聚类引导子群发现，即使在数据严重不完整的情况下也能提供初始聚类分配。然后，对抗生成器将这些分配作为条件信号，缩小生成搜索空间，以合成符合特定子群统计模式的缺失值。最后，它将精炼后的插补反馈给周期性的重新聚类，建立一个迭代的插补-重聚类-再插补循环，逐步改善聚类和插补两方面。因此，CAGI产生合理的插补值，与特定的子群结构一致（图1 (https://arxiv.org/html/2607.06930#S1.F1)(c)）。为防止早期聚类不准确导致的分布碎片化，CAGI进一步采用多层次优化目标：实例级约束（对抗训练结合重建损失）确保逐元素精度，而基于Sinkhorn散度的分布级最优传输正则化强制全局几何一致性。主要贡献如下：

- • **子群条件生成策略**。一种聚类条件化生成方法，将复杂的全局分布分解为紧凑的子群特定流形，减少高维空间中的生成不确定性。
- • **具有自校正的交替优化**。我们开发了一个迭代的插补-聚类循环，将聚类分配视为可调的潜在变量，通过观测条目上的重建约束逐步纠正早期阶段的聚类偏差。
- • **高保真恢复的多层次目标**。设计了一个结合实例级重建与分布级正则化的复合目标，在保持不同局部模式的同时维护平滑的全局数据拓扑。

## 2 相关工作

下面讨论与CAGI及目标混合数据高度相关的基于深度学习的插补和无监督数据分析技术。

### 2.1 插补的深度学习方法

深度生成模型通过学习逼近底层数据分布来解决上述局限性。

**基于GAN的方法**。GAIN[33 (https://arxiv.org/html/2607.06930#bib.bib9)]将GAN[11 (https://arxiv.org/html/2607.06930#bib.bib19)]框架应用于插补，训练生成器填充缺失条目，并训练逐元素判别器识别哪些成分是被插补的。MisGAN[16 (https://arxiv.org/html/2607.06930#bib.bib26)]通过联合学习数据生成器和掩码生成器来扩展此方法，以建模复杂的缺失模式。虽然计算效率高，但基于GAN的方法易受训练不稳定性影响[2 (https://arxiv.org/html/2607.06930#bib.bib21),26 (https://arxiv.org/html/2607.06930#bib.bib22)]。

**基于VAE的方法**。变分自编码器方法优化用于概率插补的证据下界[14 (https://arxiv.org/html/2607.06930#bib.bib17)]。MIWAE[20 (https://arxiv.org/html/2607.06930#bib.bib10)]采用重要性加权自编码器来收紧下界，改进对数似然估计；而HI-VAE[22 (https://arxiv.org/html/2607.06930#bib.bib11)]通过异质似然处理混合类型数据。然而，这些方法由于推断次优性[7 (https://arxiv.org/html/2607.06930#bib.bib18)]，往往产生过度平滑的估计，且限制性的高斯先验限制了其捕获复杂多模态分布的能力[30 (https://arxiv.org/html/2607.06930#bib.bib20)]。

**基于图和Transformer的方法**。GRAPE[34 (https://arxiv.org/html/2607.06930#bib.bib14)]和IGRM[49 (https://arxiv.org/html/2607.06930#bib.bib15)]将数据矩阵表示为二分图，并通过样本节点与特征节点之间的消息传递恢复缺失条目。ReMasker[10 (https://arxiv.org/html/2607.06930#bib.bib27)]适应掩码自编码范式，学习通过基于Transformer的自注意力重建随机掩码的特征。这些方法可能因图构建和二次注意力复杂度[50 (https://arxiv.org/html/2607.06930#bib.bib24)]而产生开销。

**基于最优传输的方法**。OTImpute[21 (https://arxiv.org/html/2607.06930#bib.bib30)]通过最小化观测数据与插补数据之间的Sinkhorn散度[8 (https://arxiv.org/html/2607.06930#bib.bib16)]来对齐分布；而TDM[43 (https://arxiv.org/html/2607.06930#bib.bib32)]在分布匹配前进一步应用可逆变换。尽管理论基础扎实，这些方法通常需要求解昂贵的散度计算优化子程序，导致高昂的训练成本[24 (https://arxiv.org/html/2607.06930#bib.bib25)]。

**基于扩散的方法**。TabCSDI[48 (https://arxiv.org/html/2607.06930#bib.bib12)]将数据生成建模为反向随机过程，逐步从条件于观测值的随机噪声中去噪。DiffPuter[35 (https://arxiv.org/html/2607.06930#bib.bib28)]在EM框架内整合去噪；NewImp[6 (https://arxiv.org/html/2607.06930#bib.bib37)]通过梯度流重新定义插补；SimpDM[19 (https://arxiv.org/html/2607.06930#bib.bib36)]通过自监督正则化稳定精度。尽管实现了优越的保真度，扩散模型由于需要数百次迭代采样步骤而遭受高推理延迟[28 (https://arxiv.org/html/2607.06930#bib.bib23),17 (https://arxiv.org/html/2607.06930#bib.bib38)]。

### 2.2 无监督模式分析技术

早期方法依赖于参数化或线性假设，因此难以捕获复杂的非线性依赖关系。因此，非参数方法，如**K\-Means**[25 (https://arxiv.org/html/2607.06930#bib.bib5)]，利用组级结构，但容易受到种子初始化和数据异质性（即由数值属性和分类属性组成的混合数据集）的影响。

近年来，稳健的混合数据聚类取得了显著进展。最近的研究发展了新的距离度量[39 (https://arxiv.org/html/2607.06930#bib.bib42)]、层次合并[4 (https://arxiv.org/html/2607.06930#bib.bib50)]、多粒度分布[41 (https://arxiv.org/html/2607.06930#bib.bib41)]和同质概念空间[37 (https://arxiv.org/html/2607.06930#bib.bib45)]，以精确划分复杂的混合数据[29 (https://arxiv.org/html/2607.06930#bib.bib6),44 (https://arxiv.org/html/2607.06930#bib.bib49)]。同时，探索值顺序[38 (https://arxiv.org/html/2607.06930#bib.bib46)]、开发受顺序启发的度量[40 (https://arxiv.org/html/2607.06930#bib.bib43)]、学习顺序森林[45 (https://arxiv.org/html/2607.06930#bib.bib47)]以及聚类定制的类别关系[46 (https://arxiv.org/html/2607.06930#bib.bib44)]已被证明对分类数据聚类非常有效。

## 3 提出方法

为应对具有复杂潜在结构数据中缺失值插补的挑战，我们提出CAGI框架（图2 (https://arxiv.org/html/2607.06930#S3.F2)）。CAGI遵循“划分–引导–恢复”原则，其插补架构包含三个关键组件：(1) 一个容忍缺失的聚类模块，从未完整数据中发现子群；(2) 一个聚类条件化生成器，执行子