DynG-Diff：面向概率时间序列预测的状态感知动态引导扩散框架

# DynG-Diff：面向概率时间序列预测的状态感知动态引导扩散框架

来源：https://arxiv.org/html/2609.02068  
作者：ZhenTe Zhang  
所属单位：浙江工商大学信息与电子工程学院（萨塞克斯人工智能研究所），中国浙江杭州  
作者：ZhengWei Ni  
所属单位：浙江工商大学信息与电子工程学院（萨塞克斯人工智能研究所），中国浙江杭州  
作者：Wei Fan  
所属单位：奥克兰大学计算机科学学院，新西兰奥克兰  
*通讯作者：[[email protected]](mailto:[email protected])  
[[email protected]](mailto:[email protected])；[[email protected]](mailto:[email protected])

###### 摘要
概率多变量时间序列预测对于建模复杂动态系统至关重要。然而，现有的基于扩散的方法依赖于特定任务的条件范式，缺乏灵活性，并且难以处理内在的“信息异质性”——即不同变量间显著变化的噪声水平和演化模式。为了解决这个问题，我们提出了DynG-Diff，一个变量敏感的动态引导扩散框架，用于概率多变量时间序列预测：(1) DynG-Diff采用两阶段分离训练策略，并使用一个无条件扩散主干来建模多变量时间序列的联合分布。(2) DynG-Diff引入了一个轻量级的状态感知策略网络，该网络能根据实时噪声状态和单步去噪估计自适应推断变量可靠性，输出一个动态引导强度矩阵。(3) DynG-Diff在数学上将此动态权重表述为观测分布的局部精度，从而在推理时能够对高置信度变量进行精确引导，同时过滤掉异常噪声的干扰。在真实基准数据集上的大量实验表明，与最先进的条件扩散模型相比，DynG-Diff具有竞争力的概率预测性能，并在严重观测损坏下展现出更强的鲁棒性。实现代码可在以下地址获取：https://github.com/TT-20011031/DynG-Diff

关键词：多变量时间序列；概率预测；扩散；动态引导；状态感知网络；信息异质性

## 1 引言
多变量时间序列的概率预测是建模复杂动态系统的基础，例如电网\[1 (https://arxiv.org/html/2609.02068#bib.bib1)\]、交通\[2 (https://arxiv.org/html/2609.02068#bib.bib2)\]、金融\[3 (https://arxiv.org/html/2609.02068#bib.bib3)\]和医疗保健\[4 (https://arxiv.org/html/2609.02068#bib.bib4)\]。该领域的一个核心挑战在于捕捉高维数据中错综复杂的异质性\[5 (https://arxiv.org/html/2609.02068#bib.bib5)\]和耦合性\[6 (https://arxiv.org/html/2609.02068#bib.bib6),7 (https://arxiv.org/html/2609.02068#bib.bib7)\]：不同的变量通常表现出截然不同的物理特性、噪声水平和分布偏移，然而它们的时间演化却高度相互依赖。尽管传统的确定性方法能有效捕捉趋势成分，但它们通常难以刻画此类系统固有的随机性和多模态分布\[8 (https://arxiv.org/html/2609.02068#bib.bib8)\]。这种局限性推动了向生成式概率模型的范式转变\[9 (https://arxiv.org/html/2609.02068#bib.bib9),10 (https://arxiv.org/html/2609.02068#bib.bib10),11 (https://arxiv.org/html/2609.02068#bib.bib11)\]，旨在从根本上学习潜在的联合数据分布。然而，有效建模这些分布不仅需要捕捉全局依赖关系，还需要尊重各个变量变化的信息密度——这一要求对现有的生成框架构成了重大挑战。

鉴于传统方法的局限性，扩散模型\[12 (https://arxiv.org/html/2609.02068#bib.bib12),13 (https://arxiv.org/html/2609.02068#bib.bib13)\]因其渐进式噪声消除机制和卓越的分布拟合能力，迅速成为生成建模的首选框架。因此，条件扩散模型已成为一种突出的方法。现有研究主要通过两种策略将预测转化为条件生成问题：第一种是端到端的条件策略，它将历史观测作为条件直接嵌入到去噪网络中以引导生成\[14 (https://arxiv.org/html/2609.02068#bib.bib14),15 (https://arxiv.org/html/2609.02068#bib.bib15),16 (https://arxiv.org/html/2609.02068#bib.bib16)\]；第二种是分而治之的策略，它利用确定性模型捕捉趋势，然后依赖扩散模型来建模残差分布\[17 (https://arxiv.org/html/2609.02068#bib.bib17),18 (https://arxiv.org/html/2609.02068#bib.bib18)\]。尽管这些方法在特定基准测试上取得了显著成果，但它们普遍受到“特定任务”训练范式的制约——这意味着模型必须针对特定的预测范围或任务目标进行专门训练。一旦场景发生变化，模型必须重新训练，缺乏生成模型应有的灵活性。

同时，少数关于无条件生成的研究主要集中在图像\[19 (https://arxiv.org/html/2609.02068#bib.bib35),20 (https://arxiv.org/html/2609.02068#bib.bib19)\]和音频\[21 (https://arxiv.org/html/2609.02068#bib.bib23)\]领域，或者仅限于单变量时间序列\[22 (https://arxiv.org/html/2609.02068#bib.bib21)\]，这导致了两个亟待解决的关键科学差距。首先，扩散模型在MTS领域的无条件生成潜力被严重低估。现有的无条件框架未能充分证明其作为“通用生成先验”的能力，即一个不针对特定任务的单一基础模型，能够通过推理时的后验引导灵活适应各种下游任务，而无需为每个任务进行参数微调。其次，现有的引导机制难以解决多变量系统中的“信息异质性”挑战。与单变量序列不同，现实世界多变量系统中的不同通道通常表现出显著不同的统计特性、噪声水平和物理关联强度。当使用观测数据来引导生成过程时，模型必须能够区分变量的“主次”以及它们的“信噪比”。也就是说，它必须能够智能地对高置信度的关键变量施加精确引导，同时容忍高噪声变量的随机性。然而，在缺乏显式标签的情况下，设计一个“变量敏感”的自适应机制来动态量化和利用这种异质性信息，仍然是提高扩散模型在复杂MTS系统中预测精度的关键。

为了克服这些挑战，本文提出了DynG-Diff（动态引导扩散），一个面向多变量时间序列的变量感知概率预测框架。DynG-Diff将扩散主干网络保持在无条件生成模式，并设计了一个轻量级的状态感知策略网络作为插件。该网络不是依赖手工设置的超参数，而是基于扩散过程中的实时噪声状态和单步估计，自适应地推断当前时间步每个变量的“可靠性”，输出一个动态引导强度矩阵。在数学上，我们将此动态权重解释为观测分布的插件式局部精度，从而产生一个加权的观测似然引导目标。这一设计使模型在推理时能够智能地对高置信度的关键变量施加精确引导，同时自动降低高噪声或异常变量的权重干扰。值得注意的是，策略网络是独立优化的，而无条件主干保持冻结。这种分离允许在不联合重新训练扩散主干的情况下调整引导机制。

为了克服现有时间序列预测模型在处理复杂数据分布和量化不确定性方面的局限性，我们提出了DynG-Diff，一个专为概率时间序列预测设计的动态引导扩散模型。本文的主要贡献总结如下：
- • 我们提出了DynG-Diff，一个解耦的概率预测框架，它通过结合无条件扩散主干和推理时依赖状态的、变量特定的引导，明确解决了信息异质性问题。这种分离使框架能够选择性地利用可靠观测，而无需联合重新训练扩散主干。
- • 我们开发了一个自监督的状态感知策略网络，该网络根据当前噪声状态及其单步去噪估计来估计变量可靠性，为每个变量和扩散时间步生成动态引导矩阵。我们进一步将该矩阵解释为非对称拉普拉斯分布的插件式局部精度，并推导出一个加权的观测似然目标，为自适应引导提供了概率动机。
- • 我们在跨多个领域的真实基准数据集上进行了广泛的实验。结果表明，DynG-Diff在预测精度和概率指标上均达到了极具竞争力的性能。此外，全面的消融研究和可视化分析验证了所提架构的鲁棒性及其在实际应用中的巨大潜力。

本文的其余部分组织如下。第2节 (https://arxiv.org/html/2609.02068#S2) 回顾相关工作。第3节 (https://arxiv.org/html/2609.02068#S3) 涵盖问题表述和预备知识。第4节 (https://arxiv.org/html/2609.02068#S4) 详细阐述我们提出的DynG-Diff框架。第5节 (https://arxiv.org/html/2609.02068#S5) 通过大量实验评估模型，第6节 (https://arxiv.org/html/2609.02068#S6) 对本文进行总结。

## 2 相关工作
时间序列生成。近年来，深度生成模型在处理各个领域的数据生成任务方面展现了巨大潜力，而时间序列生成作为生成领域中最具挑战性的任务之一，也受到了广泛关注。在早期的探索中，生成对抗网络占据主导地位。Mogren等人\[23 (https://arxiv.org/html/2609.02068#bib.bib27)\]开创了C-RNN-GAN，创新性地将长短期记忆网络整合到GAN的生成器和判别器中，以处理连续的序列数据。Esteban等人\[24 (https://arxiv.org/html/2609.02068#bib.bib28)\]引入了条件机制，开发了循环条件生成对抗网络，成功地利用辅助标签信息合成了多维实值时间序列。Yoon等人\[25 (https://arxiv.org/html/2609.02068#bib.bib29)\]提出了TimeGAN，该框架在联合优化的潜在空间中明确约束数据的时间动态，从而生成更高保真度的样本。Paul等人\[26 (https://arxiv.org/html/2609.02068#bib.bib30)\]提出了PSA-GAN，通过结合渐进增长策略和自注意力机制，显著提高了长多变量时间序列的合成质量。由于对抗训练固有的不稳定性，研究人员开始探索其他类型的深度生成范式。例如，Desai等人\[27 (https://arxiv.org/html/2609.02068#bib.bib31)\]提出的TimeVAE，实现了可解释的时间结构，并在使用VAE进行多变量时间序列合成方面取得了初步成功。Cai等人\[28 (https://arxiv.org/html/2609.02068#bib.bib33)\]提出的HyVAE，通过变分推断将时间序列的局部模式（例如，季节性和趋势）和时间动态的联合学习整合到一个统一框架中。Wu等人\[29 (https://arxiv.org/html/2609.02068#bib.bib32)\]结合了Koopman理论和卡尔曼滤波，利用KoopmanNet将非线性时间序列动力学转化为带偏的线性动力系统，并采用卡尔曼网络在该线性系统中精化预测和建模不确定性。此外，基于能量的模型已被用于通过渐进可分解结构模拟时间序列的序列行为。Alaa等人\[30 (https://arxiv.org/html/2609.02068#bib.bib34)\]提出了基于归一化流和一系列频谱滤波器的Fourier Flows，以实现精确似然优化。

时间序列扩散模型。去噪扩散概率模型作为一种新型的生成模型，已被广泛应用于时间序列预测和插补任务。该领域的开创性工作由Rasul等人\[31 (https://arxiv.org/html/2609.02068#bib.bib24)\]引入，他们设计的TimeGrad将自回归模型与去噪扩散过程相结合，实现了多变量概率预测。随后，Tashiro等人\[14 (https://arxiv.org/html/2609.02068#bib.bib14)\]提出的CSDI，构建了一个基于分数的条件扩散框架，通过自注意力机制和专门的掩码策略统一了时间序列插补和预测任务。随着研究的深入，为了克服长序列建模的计算瓶颈，SSSD\[15 (https://arxiv.org/html/2609.02068#bib.bib15)\]用结构化状态空间模型替代了传统扩散架构中的注意力机制。Shen等人\[32 (https://arxiv.org/html/2609.02068#bib.bib25)\]提出的TimeDiff，引入了两种新颖的条件机制：未来混合和自回归初始化，这在有效捕捉复杂时间动态的同时，显著提高了长序列的预测质量。例如，Yuan和Qiao\[33 (https://arxiv.org/html/2609.02068#bib.bib22)\]通过解耦趋势和季节先验，实现了高度可解释的时间序列生成。然而，这些方法通常将联合分布学习与特定任务的条件化相耦合。相比之下，DynG-Diff结合了无条件预训练和变量感知的推理引导，以解决概率多变量时间序列预测中的信息异质性问题。

扩散引导。分类器引导在采样期间将辅助分类器的梯度添加到无条件分数中\[19 (https://arxiv.org/html/2609.02068#bib.bib35)\]。无分类器引导通过联合学习条件和无条件分数估计，并使用用户定义的引导尺度对其进行混合，从而消除了辅助分类器\[20 (https://arxiv.org/html/2609.02068#bib.bib19)\]。引导也已用于文本驱动的图像生成和编辑\[34 (https://arxiv.org/html/2609.02068#bib.bib36),35 (https://arxiv.org/html/2609.02068#bib.bib37)\]，而基于约束的引导则将期望的时间序列属性表达为可微的能量函数\[36 (https://arxiv.org/html/2609.02068#bib.bib38)\]。对于时间序列，TSDiff在推理期间通过观测自引导来条件化一个无条件训练的扩散模型，无需