面向真实世界时间序列的量子生成扩散模型
摘要
QDiffusion-TS是首个针对真实世界时间序列合成的量子生成扩散模型,它用量子神经网络替换了去噪Transformer中的前馈组件。该模型将可训练参数减少了近三个数量级,并在金融数据上将Wasserstein距离改进了44%,在下游预测任务中RMSE最高提升71%。
arXiv:2606.27561v1 公告类型:新
摘要:生成模型在数据合成方面取得了显著成功,然而近期由模型规模不断扩大所推动的进展也带来了计算成本和效率方面的挑战。量子机器学习提供了一种有前景的替代方案,通过使用紧凑且高度表达性的模型来表示复杂数据分布。在此,我们提出QDiffusion-TS,这是首个用于时间序列合成的量子生成扩散模型,并在IQM量子处理器上进行了验证。该框架扩展了经典扩散架构,通过用量子神经网络替换去噪Transformer中的前馈组件,形成了一个混合量子Transformer,将每个替换组件中的可训练参数数量减少了近三个数量级。在来自苹果和亚马逊的金融时间序列上评估时,该模型生成的合成数据能更准确地再现真实分布,在两个数据集上相对于经典模型将Wasserstein距离降低了约44%。在下游预测任务中,使用生成数据进行增强后,预测性能比仅使用真实数据训练的基线在RMSE上最多提升71%。这些结果表明,量子增强架构能够以显著更少的参数持续匹配并经常超越经典性能,为更高效、可扩展的数据驱动生成建模建立了一个实用框架。
查看缓存全文
缓存时间: 2026/06/29 05:23
# 面向真实世界时间序列的量子生成扩散模型 来源:https://arxiv.org/html/2606.27561 [1]\fnmXing\surLiang [1]\orgdiv计算机科学与数学学院,\orgname金斯顿大学伦敦分校,\orgaddress\city伦敦,\postcodeKT1 2EE,\country英国 [2]\orgdiv物理与天文学系,\orgname佛罗伦萨大学,\orgaddress\city佛罗伦萨,\postcode塞斯托·菲奥伦蒂诺 50019,\country意大利 [3]\orgdiv电子与电气工程系,\orgname布鲁内尔大学伦敦分校,\orgaddress\city伦敦,\postcodeUB8 3PH,\country英国 ###### 摘要 生成模型在数据合成方面取得了显著成功,尽管近期由模型规模增大驱动的进展带来了计算成本和效率方面的挑战。量子机器学习提供了一种有前景的替代方案,能够利用紧凑且表达能力强的模型来表示复杂数据分布。在此,我们提出 QDiffusion-TS,这是首个用于时间序列合成的量子生成扩散模型,并在 IQM 量子处理器上进行了验证。该框架扩展了经典的扩散架构,将去噪 Transformer 中的前馈组件替换为量子神经网络,从而形成一种混合量子 Transformer,使每个被替换组件的可训练参数数量减少了近三个数量级。在来自苹果和亚马逊的金融时间序列上评估时,该模型生成的合成数据能够更准确地复现真实分布,在两个数据集上相比其经典对应物将瓦瑟斯坦距离降低了约 44%。在下游预测任务中,使用生成数据扩充训练集后,预测性能在均方根误差上比仅使用真实数据训练的基线提高了高达 71%。这些结果表明,量子增强架构能够以显著更少的参数持续匹配并经常超越经典性能,为迈向更高效、可扩展的数据驱动生成建模建立了一个实用框架。 ###### 关键词: 量子机器学习,扩散模型,时间序列生成,量子神经网络,金融数据,生成建模 ## 1 引言 近年来,生成式机器学习模型经历了快速发展,在广泛的数据合成任务中取得了显著的实证性能[1, 2, 3]。其中,图像生成进展尤为迅速,变分自编码器 (VAEs)[4, 5]、生成对抗网络 (GANs)[6, 7, 8] 以及扩散模型[9, 10, 11, 12, 13, 14] 现已能够生成高度逼真的样本。尽管进展显著,但这些收益在很大程度上是由模型容量和训练数据规模不断增大所驱动的[15]。最先进的模型,如 DALL·E 3[16] 和 Stable Diffusion[11],拥有数十亿个参数[17, 18, 19, 20],引发了关于计算成本、能耗及进一步社会影响的担忧[21, 22]。 除了合成图像,生成模型也已应用于时间序列数据[23, 24, 25],采用类似的架构来捕捉时间依赖关系并复现底层数据的统计特性。虽然从简单分布中采样相对直接,但准确建模复杂的高维分布仍然具有挑战性。金融时间序列提供了一个尤为苛刻的场景[26],要求生成模型能够产生合成序列,以复现对数收益率的分布、保留风格化事实,并维持真实市场数据的更广泛统计结构。在此背景下,已有多种生成方法被探索。去噪自编码器已被用于将分布特征转移到生成数据上,产生与纯随机模拟足够不同的金融时间序列[27]。基于 GAN 的方法也被应用于生成逼真的金融序列,包括旨在捕捉波动率结构[28] 和跨资产相关性[29] 的框架。跨 GAN、VAE 和生成矩匹配网络 (GMMNs) 的比较研究表明,尽管不同架构都能实现具有竞争力的性能,但基于 VAE 的方法往往能提供更稳定和可靠的结果[30]。最近,基于扩散的方法也被引入,包括在 NASDAQ[31] 和日本市场数据集[32] 上对金融数据的小波变换表示进行操作的方法。基于分数的生成框架进一步扩展了扩散模型,通过学习数据分数函数,能够在不同时间分辨率下生成数据[33]。 量子机器学习 (QML) 已成为经典机器学习的扩展,旨在通过量子算法利用量子硬件的计算特性来增强模型能力。量子神经网络 (QNNs) 采用参数化量子电路 (PQCs) 作为学习框架[34, 35, 36],利用量子系统的指数级状态空间和量子比特之间的纠缠来更好地表示复杂数据分布。这使得能够以比经典对应物显著更少的可训练参数实现具有表达力的表示[37],这一点已在图分类[38] 等任务中得到证明。 QNNs 已被应用于完全量子模型以及量子组件嵌入到经典模型中的混合设置下的生成学习。已提出了一系列量子生成架构,包括利用浅层 PQC 在近期硬件上执行生成任务的波恩机[39],以及量子生成对抗网络 (QGANs)[40]。QGANs 的实现包括通过量子态保真度目标训练的具有量子生成器和判别器的模型[41, 42],以及在真实量子硬件上演示的纠缠 QGAN 框架[43]。后续工作探索了电路设计的变化,包括旨在减少电路深度的紧凑量子生成器[44]。混合 QGAN 框架也被应用于学习并加载概率分布,包括在金融衍生品定价中的应用[45]。最近,量子瓦瑟斯坦 GAN 已被应用于金融时间序列生成,利用基于 QNN 的生成器以及经典或量子判别器[46, 47]。 本文聚焦于量子扩散模型 (QDMs),其动机源于经典扩散架构的成功——这些架构实现了最先进的生成性能,并已在图像合成[12] 等任务中被证明超越基于 GAN 的方法。QDMs 首次在 [48] 中被提出,其中利用量子噪声生成对于经典处理器而言难以处理的概率分布,该方法在合成概念验证分布上进行了演示。在此设置下,可以通过集成 QNNs 将量子特征引入正向过程或反向去噪过程。沿着正向量子加噪方向,后续受物理学启发的 QDMs 利用真实量子硬件的固有噪声作为扩散过程的一部分,并将其应用于图像生成[49]。基于原始框架,量子去噪范式已在一条并行的工作线中扩展到多种生成设置,包括在多个数据集上的图像合成[50] 以及采用重复电路层以增强表达能力的架构[51]。量子潜在扩散模型——其中经典自编码器压缩数据,QNNs 在缩减的特征空间内操作——也已被探索[52],包括用于图像生成任务的条件变体[53],以及将向量量化与量子自编码器相结合用于量子态生成的方法[54]。此外,优化量子隐式神经网络 (OQINN) 已被提出作为图像合成的替代去噪模型[55]。 尽管量子机器学习和生成模型都取得了快速进展,但据我们所知,尚无研究将 QDM 应用于时间序列数据的合成。在此,我们引入 QDiffusion-TS,这是一种用于时间序列生成的 QDM,它通过将 QNNs 纳入去噪过程,扩展了专为时序数据设计的经典扩散架构。该模型应用于真实金融时间序列,这些序列表现出非平稳性、重尾分布以及复杂的时间依赖关系,广泛代表了时间序列领域遇到的挑战。在此公式中,QNNs (图 1b) 完全替换了经典 Transformer 中的前馈神经网络 (FFNN) 组件,展示了在近期量子硬件的约束下如何将量子电路集成到现代混合深度学习架构中。所提出的方法在来自苹果和亚马逊的金融时间序列数据上进行了评估,生成的合成数据准确复现了真实数据的统计分布和风格化事实。QDiffusion-TS 在两个数据集上均实现了一致更低的统计距离,跨特征相对于其经典对应物将瓦瑟斯坦距离平均降低了约 44%。为了评估其实用性,生成的数据被用于在下游预测任务中扩充训练数据集。这种扩充带来了显著的改进,在预测性能上相比仅使用真实数据训练的基线,均方根误差 (RMSE) 提高了高达约 71%,而量子生成数据和经典生成数据在峰值预测精度上表现相当。这些发现得到了在量子硬件上验证的进一步支持,该硬件不仅优于经典基线,而且略微超过了模拟中获得的结果,表明所提出方法在当前设备上的可行性。本工作的另一个关键贡献是证明将 QNNs 集成到现有大规模架构中可以显著减少可训练参数的数量,每个被替换的组件包含近三个数量级更少的参数。尽管模型复杂度降低,量子模型不仅保持了相对于经典模型的性能,而且在许多情况下,特别是在统计分布的复现方面,超越了经典模型。这些结果凸显了量子增强架构作为参数高效生成建模方法的潜力。随着量子硬件持续扩展,所展示的显著参数减少表明,QDiffusion-TS 为量子组件在生成架构中发挥越来越重要作用的混合模型提供了一条可行路径。 ## 2 结果 ### 2.1 QNN 预备知识 本节将对 QNNs 进行简要介绍,这些模型利用量子计算原理来增强经典神经网络。QNN 的结构大致类似于经典神经网络,关键区别在于经典神经元被替换为参数化量子电路 (PQCs)[34, 35, 36]。PQC 在量子比特上操作,这些量子比特可以存在于其基态的连续叠加中,从而能够紧凑地表示复杂特征空间。模型状态被编码在系统的量子态中,该状态通过一系列参数化量子门逐步变换。门参数类似于经典神经网络的训练权重,使用基于梯度的方法进行优化,目标是最小化在电路输出上定义的特定任务损失函数。量子系统状态空间的维度随量子比特数量呈指数级缩放,使得使用相对较少的量子比特就能表达高维函数[56]。结合量子比特之间的纠缠,这使得设计合适的量子电路能够使用比等效经典模型少几个数量级的参数,实现复杂分布的高效表示[37, 57]。此外,这些量子特征可以增强模型的表达能力[57, 37],从而产生更准确的预测输出。QDiffusion-TS 通过将 QNNs 集成到扩散架构中,直接利用了这些优势。 ### 2.2 QDiffusion-TS:面向时间序列的量子生成扩散模型 参见说明图1:a QDiffusion-TS示意图。在前向过程中,噪声逐步添加到原始时间序列上,经过T步后,再通过量子增强的迭代去噪过程进行去噪。
相似文章
扩散模型的时间差分学习
本文提出了一种用于扩散模型的时间差分(TD)学习目标,该目标在去噪轨迹上强制跨时间一致性。它将去噪重新表述为强化学习中的策略评估问题,展示了在样本质量(FID)上的显著改进,尤其适用于少步采样器。
面向数据稀缺时间序列的统一生成模型:结合领域专家
介绍TimeMoDE,这是一个将扩散Transformer与混合专家模型相结合的框架,用于在数据稀缺条件下生成逼真的时间序列。该框架通过在多个领域的数据集上进行预训练,并利用领域提示来处理领域特定特征,同时结合扩散时间步信号实现自适应去噪。
MMDiff: 扩展扩散变换器以实现多模态生成
MMDiff 通过轻量级解码器将冻结的扩散变换器扩展为多模态生成系统,通过多时间步特征融合,在语义分割和其他感知任务上实现了显著改进。
Discrete Stochastic Localization用于非自回归生成
提出离散随机定位(Discrete Stochastic Localization, DSL),一种用于非自回归文本生成的连续状态扩散框架,采用单位球面令牌嵌入和时步不变的降噪器,在OpenWebText上实现了比掩码离散扩散模型更好的分布忠实性。
Qwen 3.6 27B AR->Diffusion - 在5090上的本地训练
作者详细介绍了尝试在Nvidia 5090 GPU上使用qlora以及来自open-dllm和d3LLM的修改来本地训练Qwen 3.6 27B自回归到扩散模型的过程,在探索单步扩散技术时遇到了显存限制和硬件问题。