Gated QKAN-FWP：可扩展的量子启发序列学习

# Gated QKAN-FWP：可扩展的量子启发式序列学习

来源：https://arxiv.org/html/2605.06734

Kuo-Chung Peng*，台湾大学物理系与理论物理中心，台北，台湾
国家高速网络与计算中心，国家应用科技研究机构，新竹，台湾
Jiun-Cheng Jiang，台湾大学物理系与理论物理中心，台北，台湾
NVIDIA 人工智能技术中心，NVIDIA Corp.，台北，台湾
台湾大学量子科学与工程中心，台北，台湾
Chen-Yu Liu，台湾大学应用物理研究所，台北，台湾
En-Jui Kuo，阳明交通大学电物理系，新竹，台湾
Yun-Yuan Wang，NVIDIA 人工智能技术中心，NVIDIA Corp.，台北，台湾
Prayag Tiwari，瑞典哈尔姆斯塔德大学信息技术学院
Andrea Ceschini，罗马“La Sapienza”大学信息工程、电子与电信系 (DIET)，罗马，意大利
Chi-Sheng Chen，贝斯以色列女执事医疗中心与哈佛医学院，美国马萨诸塞州波士顿
Yu-Chao Hsu，国家高速网络与计算中心，国家应用科技研究机构，新竹，台湾
国立成功大学跨学院精英项目，台南，台湾
Chun-Hua Lin，台湾大学物理系与理论物理中心，台北，台湾
国家高速网络与计算中心，国家应用科技研究机构，新竹，台湾
Tai-Yue Li，国家高速网络与计算中心，国家应用科技研究机构，新竹，台湾
Antonello Rosato，罗马“La Sapienza”大学信息工程、电子与电信系 (DIET)，罗马，意大利
Massimo Panella，罗马“La Sapienza”大学信息工程、电子与电信系 (DIET)，罗马，意大利
Simon See，NVIDIA 人工智能技术中心，NVIDIA Corp.，新加坡
Saif Al-Kuwari，卡塔尔量子计算中心，哈马德 Bin 哈利法大学科学与工程学院，多哈，卡塔尔
Kuan-Cheng Chen†\\dagger，卡塔尔量子计算中心，哈马德 Bin 哈利法大学科学与工程学院，多哈，卡塔尔
Nan-Yow Chen†\\dagger，国家高速网络与计算中心，国家应用科技研究机构，新竹，台湾
Hsi-Sheng Goan†\\dagger，台湾大学物理系与理论物理中心，台北，台湾
NVIDIA 人工智能技术中心，NVIDIA Corp.，台北，台湾
台湾大学应用物理研究所，台北，台湾
国家理论科学中心物理组，台北，台湾

###### 摘要

快速权重编程器（Fast Weight Programmers, FWPs）通过动态更新参数而非循环隐藏状态来编码时间依赖关系。量子快速权重编程器（Quantum FWPs, QFWPs）利用变分量子电路（VQCs）扩展了这一思想，但现有的实现依赖于难以在含噪中规模量子（NISQ）设备上扩展的多量子比特架构，且经典模拟成本高昂。我们提出了 Gated QKAN-FWP，这是一种快速权重框架，将 FWP 与量子启发式柯尔莫哥洛夫-阿诺德网络（Quantum-inspired Kolmogorov–Arnold Network, QKAN）相结合，使用单量子比特数据重新上传电路作为可学习的非线性激活函数，称为数据重新上传激活（DatA Re-Uploading ActivatioN, DARUAN）。此外，我们引入了一种标量门控快速权重更新规则以稳定参数演化，并通过对其自适应记忆核、几何有界性以及可并行化梯度路径的理论分析予以支持。我们在时间序列基准测试、MiniGrid 强化学习中对框架进行了评估，并重点展示了实际太阳周期预测作为主要实用成果。在具有 528 个月输入窗口和 132 个月预测周期的长视界设定下，我们的 1.25 万参数模型实现了比一系列经典循环基线（最多多出 13 倍参数，包括 2.59k–8.91k 参数的长短期记忆网络 (LSTM)、16.7k 参数的 WaveNet-LSTM、1.15k 参数的 Vanilla 循环神经网络，以及 13.2k 参数的改进型回声状态网络）更低的缩放均方误差（MSE）、峰值振幅误差和峰值时间误差。为了验证 NISQ 兼容性，我们将训练好的快速编程器部署在 IonQ 和 IBM Quantum 处理器上，在 1024 次采样下，恢复的预测精度相对于无噪声模拟器的相对 MSE 误差在 0.1% 以内。这些结果表明，Gated QKAN-FWP 是一种可扩展、参数高效且兼容 NISQ 的量子启发式序列建模方法。

关键词：快速权重编程，量子机器学习，柯尔莫哥洛夫-阿诺德网络，序列建模，强化学习

††脚注：本文表达的观点仅代表作者个人，不代表富国银行（Wells Fargo）的观点。本文仅供参考。本文内容不应被视为投资建议。富国银行不对本文做出任何明示或暗示的保修，并明确免除与本文相关的所有法律、税务和会计影响。

## 1 引言

建模长程时间依赖关系仍然是序列学习和序列决策中的核心挑战 L+25b (https://arxiv.org/html/2605.06734#bib.bib58); L+25d (https://arxiv.org/html/2605.06734#bib.bib60); CCTW 24 (https://arxiv.org/html/2605.06734#bib.bib21)。在量子机器学习（QML）中，这一挑战因含噪中规模量子（NISQ）硬件的限制而被放大 Pre 18 (https://arxiv.org/html/2605.06734#bib.bib79)。因此，深层、高度纠缠的量子神经网络（QNNs）难以可靠执行 A+23b (https://arxiv.org/html/2605.06734#bib.bib2)，模拟成本高昂 C+(25 (https://arxiv.org/html/2605.06734#bib.bib16)，且难以训练 MBS+(18 (https://arxiv.org/html/2605.06734#bib.bib70); L+25a (https://arxiv.org/html/2605.06734#bib.bib57)，特别是在循环或长视界流水线中 C+(21 (https://arxiv.org/html/2605.06734#bib.bib13); CVH+(22 (https://arxiv.org/html/2605.06734#bib.bib34); B+(25 (https://arxiv.org/html/2605.06734#bib.bib6)。虽然混合变分量子算法（VQAs）B+(22 (https://arxiv.org/html/2605.06734#bib.bib4) 在分类 BMB+(22 (https://arxiv.org/html/2605.06734#bib.bib10); L+25e (https://arxiv.org/html/2605.06734#bib.bib61); L+25f (https://arxiv.org/html/2605.06734#bib.bib62); LPC+(25 (https://arxiv.org/html/2605.06734#bib.bib66); CCL 19 (https://arxiv.org/html/2605.06734#bib.bib17); JHS+(25 (https://arxiv.org/html/2605.06734#bib.bib51); CT 25 (https://arxiv.org/html/2605.06734#bib.bib33); CCT 26 (https://arxiv.org/html/2605.06734#bib.bib20); S+(22 (https://arxiv.org/html/2605.06734#bib.bib83) 等静态领域取得了突破，生成式建模 H+25b (https://arxiv.org/html/2605.06734#bib.bib43); S+(21 (https://arxiv.org/html/2605.06734#bib.bib82); LW 18 (https://arxiv.org/html/2605.06734#bib.bib69); CK25b (https://arxiv.org/html/2605.06734#bib.bib29); CK25a (https://arxiv.org/html/2605.06734#bib.bib28) 和数学问题求解 KPE 21 (https://arxiv.org/html/2605.06734#bib.bib56); PKAY 22 (https://arxiv.org/html/2605.06734#bib.bib78)，但将其扩展到序列框架会带来严重的计算瓶颈。

量子循环神经网络（QRNNs）需要重复的电路评估以及沿时间反向传播（BPTT），同时伴随昂贵的量子梯度估计 WIWL 22 (https://arxiv.org/html/2605.06734#bib.bib96); A+23a (https://arxiv.org/html/2605.06734#bib.bib1)。随着序列长度（窗口大小）的增长，这种训练成本变得难以承受 Bau 20 (https://arxiv.org/html/2605.06734#bib.bib7)。

量子快速权重编程器（QFWPs）Che24b (https://arxiv.org/html/2605.06734#bib.bib27) 通过将隐藏状态动态替换为参数动态来减轻这一负担。在 QFWP 中，经典慢速编程器在每个时间步生成快速量子模型的参数，从而避免了在循环内部进行显式的量子梯度计算。然而，现有的 QFWPs 仍然依赖于多量子比特电路，限制了在 NISQ 时代的实际可扩展性。

认识到这些局限性，我们将注意力转向一种量子启发式范式，该范式本质上规避了硬件限制。我们提出了 Gated QKAN-FWP，将量子启发式柯尔莫哥洛夫-阿诺德网络（QKAN）JHCG 25 (https://arxiv.org/html/2605.06734#bib.bib50) 集成到快速权重编程框架中。QKAN 利用单量子比特数据重新上传电路作为可学习的非线性激活，称为数据重新上传激活（DARUAN）JHCG 25 (https://arxiv.org/html/2605.06734#bib.bib50); SSM 21 (https://arxiv.org/html/2605.06734#bib.bib91); PSCLGFL 20 (https://arxiv.org/html/2605.06734#bib.bib80)，从而绕过多量子比特纠缠，提供表达能力强、对硬件友好且模拟高效的建模 JHCG 25 (https://arxiv.org/html/2605.06734#bib.bib50)。

为了进一步稳定参数演化，我们引入了一种门控快速权重更新规则。通过完全避免多量子比特纠缠瓶颈，我们的架构弥合了量子概念与经典执行之间的差距。因此，我们强调在实用任务上评估我们的模型与经典基线的对比，特别是实时的长视界直接多步预测——这一能力对于受限于 NISQ 限制的先前的量子模型来说仍然 largely 遥不可及。

本工作的主要贡献如下：

1. 我们提出了 Gated QKAN-FWP，这是一种量子启发式框架，将 QKAN 模块与快速权重编程相结合，用于高效的序列建模。
2. 我们引入了一种标量门控快速权重机制，自适应地平衡记忆保留和新更新，并通过自适应记忆核、几何界限以及可并行的展开递归提供了理论支持，后者产生了比一般循环神经网络（RNNs）更浅的梯度路径。
3. 我们展示了在实际多步太阳周期预测中的强大实证性能，其中我们的 1.25 万参数模型优于参数范围从 1.15k 到 16.7k（最高为我们模型大小的 13 倍）的经典循环基线。我们还全面评估了时间序列基准测试以及 MiniGrid 强化学习（RL）。
4. 通过在两个量子处理单元（QPUs）上执行训练好的快速编程器，我们验证了 NISQ 兼容性，恢复了相对于无噪声模拟器 $10^{-3}$ 相对均方误差（MSE）的预测性能。

## 2 相关工作

##### 量子序列建模与强化学习

对于序列建模，QRNNs 和量子长短期记忆（QLSTM）变体已被引入，以适配量子神经架构处理时间依赖任务 Bau 20 (https://arxiv.org/html/2605.06734#bib.bib7); CRP 24 (https://arxiv.org/html/2605.06734#bib.bib31); WG 26 (https://arxiv.org/html/2605.06734#bib.bib95); CYF 22 (https://arxiv.org/html/2605.06734#bib.bib35); CFD+(22 (https://arxiv.org/html/2605.06734#bib.bib23); HCL+(25 (https://arxiv.org/html/2605.06734#bib.bib44); CCLL25b (https://arxiv.org/html/2605.06734#bib.bib19)。与这些发展并行，早期的量子强化学习（QRL）公式假设完全量化的环境 DCLT 08 (https://arxiv.org/html/2605.06734#bib.bib38)。最近的方法则在具有离散或连续观察值的经典环境中利用变分量子电路（VQCs） CCLL25a (https://arxiv.org/html/2605.06734#bib.bib18); SJD 22 (https://arxiv.org/html/2605.06734#bib.bib88); CYQ+(20 (https://arxiv.org/html/2605.06734#bib.bib36); LS 20 (https://arxiv.org/html/2605.06734#bib.bib67); P+(24 (https://arxiv.org/html/2605.06734#bib.bib75); D+(25 (https://arxiv.org/html/2605.06734#bib.bib37)。此外，为了克服部分可观察环境的局限性，其中代理必须固有地跟踪历史状态，最近的工作将 QRNNs 集成到 RL 策略中 Che23b (https://arxiv.org/html/2605.06734#bib.bib25); Che24a (https://arxiv.org/html/2605.06734#bib.bib26)。

##### 快速权重编程及其量子扩展

快速权重编程器（FWPs）Sch 92 (https://arxiv.org/html/2605.06734#bib.bib85),93 (https://arxiv.org/html/2605.06734#bib.bib86) 用参数空间中的动态演化替换循环隐藏状态演化。慢速网络更新快速网络的参数，从而在没有显式递归的情况下实现类似记忆的行为。随后的经典工作将 FWPs 与 RNNs 相结合 SS 17 (https://arxiv.org/html/2605.06734#bib.bib90)，并建立了与线性 Transformers 的类比 SIS 21 (https://arxiv.org/html/2605.06734#bib.bib87); ISCS 21 (https://arxiv.org/html/2605.06734#bib.bib47)。

QFWPs 通过利用参数化量子电路作为快速编程器来扩展这一范式 Che24b (https://arxiv.org/html/2605.06734#bib.bib27)。在 QFWP 中，经典慢速网络即时生用量子电路参数，消除了时间循环内部的显式量子梯度计算。为了进一步减少参数大小，QT-QFWP L+25c (https://arxiv.org/html/2605.06734#bib.bib59) 使用生成式 QNN 来合成慢速编程器的权重，利用量子表达能力来解决经典慢速网络的可扩展性瓶颈。

##### KAN 与 QKAN 架构

柯尔莫哥洛夫-阿诺德网络（KANs）用可学习的单变量函数替换多层感知机（MLPs）中的固定激活函数，产生可解释且参数高效的非线性建模 L+25g (https://arxiv.org/html/2605.06734#bib.bib63); K+(24 (https://arxiv.org/html/2605.06734#bib.bib54); LTM+(25 (https://arxiv.org/html/2605.06734#bib.bib68); L+(26 (https://arxiv.org/html/2605.06734#bib.bib64); S+(25 (https://arxiv.org/html/2605.06734#bib.bib84); NWLDM 25 (https://arxiv.org/html/2605.06734#bib.bib73); YW 25 (https://arxiv.org/html/2605.06734#bib.bib100)。这种效率促使将其适应于时间序列建模任务 HZLB 25 (https://arxiv.org/html/2605.06734#bib.bib45); J+(25 (https://arxiv.org/html/2605.06734#bib.bib48); VRBPC 24 (https://arxiv.org/html/2605.06734#bib.bib93); XCW 24 (https://arxiv.org/html/2605.06734#bib.bib97); Liv 24 (https://arxiv.org/html/2605.06734#bib.bib65); YLZP 25 (https://arxiv.org/html/2605.06734#bib.bib99)。

QKAN 通过用 DARUAN JHCG 25 (https://arxiv.org/html/2605.06734#bib.bib50) 实现边缘函数来扩展 KAN 架构。由此产生的量子启发式激活在保持轻量级且易于模拟的同时，提供了丰富的频谱表达能力。先前的工作 H+25a (https://arxiv.org/html/2605.06734#bib.bib42) 将 QKAN 嵌入到长短期记忆（LSTM）单元的网关中以形成 QKAN-LSTM。由于其计算依赖于循环隐藏状态 $h_{t-1}$，沿时间维度的执行仍然是严格顺序的，且 BPTT 必须穿越长度为 $T$ 的隐藏状态雅可比链。相比之下，我们在快速权重编程器内部部署 QKAN。由于快速参数更新 $\Delta W_k$ 仅依赖于输入 $x_k$ 而非先前参数 $W_{k-1}$，我们绕过了递归瓶颈，产生了更浅的梯度路径（第 5 节 (https://arxiv.org/html/2605.06734#S5)）。这将 QKAN 定位为快速权重编程的构建模块，不同于其在 H+25a (https://arxiv.org/html/2605.06734#bib.bib42) 中的非线性递归网关角色。

## 3 预备知识

### 3.1 量子启发式柯尔莫哥洛夫-阿诺德网络