MBDiff：多视图行为感知扩散模型用于概率性公用事业数据插补

# 面向概率性公用事业数据插补的多视图行为感知扩散模型

来源：https://arxiv.org/html/2607.29177

Rongchao Xu¹, Dahai Yu¹, Ximiao Li¹, Guang Wang¹∗  
¹佛罗里达州立大学计算机科学系，美国塔拉哈西 ([email protected] (https://arxiv.org/html/2607.29177v1/mailto:[email protected]), [email protected] (https://arxiv.org/html/2607.29177v1/mailto:[email protected]), [email protected] (https://arxiv.org/html/2607.29177v1/mailto:[email protected]), [email protected] (https://arxiv.org/html/2607.29177v1/mailto:[email protected]), [email protected] (https://arxiv.org/html/2607.29177v1/mailto:[email protected])).  
∗通讯作者。

###### 摘要

公用事业数据（例如电力、用水和燃气消耗）由无处不在的传感器和嵌入式设备采集，通常因设备故障和数据传输问题等各种因素而包含大量缺失值。数据缺失会严重影响公用事业计费准确性，阻碍需求预测，并破坏高效的公用事业供应管理。因此，公用事业数据插补已引起工业界和学术界的广泛关注。尽管许多研究试图解决这一问题，但大多数依赖于聚合数据集进行训练，忽略了丰富的用户行为信息——这些信息本可为更准确的插补提供有价值的见解。然而，从长期、多样且不完整的公用事业数据中学习全面的用户行为仍然是一个重大挑战。此外，由于相关性的间接性，利用用户行为信息来引导插补并非易事。为应对这些挑战，我们提出了 MBDiff，一种用于概率性公用事业数据插补的多视图行为感知扩散模型。MBDiff 包含两个关键技术组件：(i) 多视图用户行为提取模块，从多个视角（包括全局、局部和实例级视角）学习全面用户行为；(ii) 行为感知条件扩散模型，由参考选择模块和条件注意力去噪网络组成，以计算高效的方式插补公用事业数据。我们与佛罗里达州最大的市政公用事业供应商之一合作，对 MBDiff 进行了实现和评估。实验结果表明，我们提出的 MBDiff 有效优于最先进的基线，例如在电力和用水数据集上的块缺失插补任务中分别提升了 7.04% 和 29.1%。

## 1 引言

由于传感器故障、极端天气事件（例如飓风）li2025typhoformer;shen2025learning 和不规则采样等各种因素，缺失值在公用事业数据（例如电力负荷、用水量和燃气消耗）中普遍存在，这可能在计费、资源分配和供需再平衡等方面显著影响现实世界的公用事业服务。根据我们与佛罗里达州最大的公用事业供应商之一的合作，住宅搬迁期间的公用事业记录缺失为供应商和客户都带来了相当大的挑战。例如，不准确或不完整的数据可能导致不公平计费：搬离居民被多收或少收，搬入居民可能为其未产生的消费付费。这些问题会削弱客户信任、引发纠纷，并可能导致不合规。

由于其重要性，公用事业数据插补已引起学术界和工业界的广泛关注，并提出了多种方法来解决该任务。早期的统计和机器学习方法，如插值法、k近邻（KNN）(altman1992introduction) 和矩阵分解 (fang2020time)，曾被广泛使用，但常常难以处理具有内在依赖性的长而复杂的序列。最近，深度学习方法推动了公用事业数据插补的发展（如 RNN 类方法 yoon2018estimating;cao2018brits, CNN 类方法 wu2023timesnet, VAE 类方法 (fortuin2020gp), GAN 类方法 (brophy2023generative), 扩散模型 (tashiro2021csdi;liu2023pristi)），这些方法旨在学习潜在分布以实现准确插补。然而，大多数现有工作通常依赖聚合数据进行模型训练，往往忽略了一个关键因素，即用户特定行为。这些行为以独特的趋势和惯用模式为特征，可以提供有价值的信息来提高插补精度。更详细的动机和数据分析见[附录A.1](https://arxiv.org/html/2607.29177#S1.SS1)，其中进一步说明了不同公用事业类型和时间段中多样化的用户行为。

本文聚焦于考虑独特用户行为的用户特定公用事业数据插补。然而，要实现这一目标存在两个主要挑战：(1) 如何从长期、动态且多样的历史公用事业数据中有效学习全面的用户行为？(2) 如何以计算高效的方式利用提取的用户行为准确插补数据？首先，行为模式不仅在用户之间差异显著，而且同一用户在不同时期也会变化，使得提取全面且有意义的模式变得困难。此外，采用机器学习进行数据插补可能由于训练和测试数据划分而导致用户特定数据在时间上不连续。例如，训练数据中可能只有某些日期（如第1、4、5、7和14天）的数据可用，导致大的时间间隙，使行为建模更加复杂。一种直接的方式是通过生成全局用户嵌入或按时间排序的潜在表示来表示用户行为。然而，此类表示通常无法为插补不同日期目标记录提供充分且上下文相关的参考。其次，由于隐式相关性和高维性，利用学到的用户行为高效引导目标数据记录的插补仍然是一个挑战。特别是，很难建立用户行为表示与目标记录属性（如时间戳或值）之间的依赖关系，因为这些关系通常复杂、间接且无法明确观察。

为应对这些挑战，我们提出了 MBDiff，一种用于概率性公用事业数据插补的多视图行为感知扩散模型，由两个关键组件组成：多视图用户行为提取模块（MUBE）和行为感知条件扩散模型（BCDiff）。MUBE 基于长期、多样且不连续的历史时间序列数据，从不同方面（例如全局、局部和实例视角）全面提取用户行为模式。在 BCDiff 中，首先引入参考选择模块，识别最具信息量的行为模式，从而降低计算成本。随后，设计了一种新颖的行为感知条件注意力去噪网络，通过利用选定的参考行为准确插补缺失值。

总之，主要贡献如下：

- • 受现实世界意义的驱动，本文考虑了复杂的用户行为来解决公用事业数据插补问题，这可通过准确的公用事业计费和资源分配同时惠及公用事业供应商和客户，带来社会影响。
- • 我们提出了一种称为 MBDiff 的行为感知公用事业数据插补框架，其中包括一个多视图用户行为提取模块，从不同方面（例如全局、局部和实例视角）学习全面用户行为，以及一个计算高效的行为感知条件扩散模型，该模型带有注意力去噪网络，利用信息性行为来插补缺失值。
- • 我们与一家大型市政公用事业供应商合作，在三种类型的真实世界公用事业数据上实现并全面评估了所提出的 MBDiff。大量结果表明，MBDiff 显著优于最先进的基线，例如在电力和用水数据集的块缺失插补上分别提升了 7.04% 和 29.1%，证明了我们设计的有效性。更重要的是，我们的 MBDiff 已帮助合作方在其公用事业数据中插补了超过 2000 万个缺失值，以改善其公用事业服务，显示了其社会影响。

## 2 预备知识

### 2.1 问题定义

定义1：（公用事业数据）对于从用户组 \(U=\{u_{1},u_{2},\cdots,u_{N}\}\) 收集的公用事业数据集，其中 \(N\) 表示用户总数，我们将 \(D_{u}=\{(X_{1}^{u},d_{1}^{u},m_{1}^{u}),(X_{2}^{u},d_{2}^{u},m_{2}^{u}),\cdots,(X_{N_{u}}^{u},d_{N_{u}}^{u},m_{N_{u}}^{u})\}\) 定义为用户 \(u\) 的历史公用事业数据。其中，\(X_{j}^{u}\) 表示用户 \(u\) 的第 \(j\) 条数据记录（时间序列），\(N_{u}\) 是用户 \(u\) 的数据记录总数。时间戳 \(d_{j}^{u}=(dd_{j}^{u},md_{j}^{u},yd_{j}^{u})\) 由 \(X_{j}^{u}\) 的星期几（\(dd_{j}^{u}\in[1,7]\)）、月份（\(md_{j}^{u}\in[1,12]\)）和年份 \(yd_{j}^{u}\) 组成。变量 \(m_{j}^{u}\in\{0,1\}\) 是二值观测掩码，用于指示数据记录中的某个值（数据点）是已观测还是缺失，其中 \(m_{l}=1\) 表示数据点已观测，\(m_{l}=0\) 表示数据点缺失。

定义2：（公用事业数据插补）给定用户 \(u_{i}\) 的历史数据集 \(D_{u_{i}}\)，确定性/概率性公用事业数据插补旨在估计日期 \(\tilde{d}=(\tilde{dd},\tilde{md},\tilde{yd})\) 处每个公用事业数据记录 \(\tilde{X}\) 中缺失值的值/分布，其中 \(\