基于Newton-Schulz回缩的推断使隐量子马尔可夫模型能够超越经典HMM

# 基于牛顿-舒尔茨回缩的推断使隐藏量子马尔可夫模型优于经典HMMs 来源：https://arxiv.org/html/2608.06554 Ning Ning 美国德克萨斯A&M大学统计系，大学城，德克萨斯州，美国 patning@tamu\.edu ###### 摘要 隐藏马尔可夫模型 \(HMMs\) 是用于离散序列数据的常用概率模型，但当隐藏动态较为复杂时，其能力可能受限。隐藏量子马尔可夫模型 \(HQMMs\) 通过将概率向量替换为密度矩阵、将随机转移替换为量子操作，从而推广了HMMs，使得潜在表示更加丰富。然而，现有的HQMM学习方法在非量子过程生成的数据上并未持续优于期望最大化 \(EM\) 训练的HMM，这限制了其实际应用。我们提出NS\-RIS，即基于Stiefel流形上牛顿-舒尔茨回缩的推断，一种用于学习迹保持HQMMs的可扩展算法。NS\-RIS利用牛顿-舒尔茨正交化来计算极因子搜索方向，同时保持Stiefel流形的可行性，避免了昂贵的矩阵分解。我们在光滑性、随机梯度和有限牛顿-舒尔茨精度的标准假设下，建立了有限时间平稳性保证。重要的是，NS\-RIS是首个具有数学性能保证的HQMM推断算法。实验上，NS\-RIS提供了首个基准证据，表明HQMM能够在非量子模型生成的数据上显著优于EM训练的HMM。在合成HMM生成的基准上，NS\-RIS同时优于EM和最新HQMM方法COSM，评估指标平均提高38.5%，最高提高50.6%。在合成HQMM基准上，其测试指标比COSM提高18.9%，同时运行时间减少12.0%。在真实世界的剪接位点分类基准上，NS\-RIS在高维潜在状态情形下也超越了EM和COSM，对于潜在维度6，平均分类误差相对COSM降低17.9%，对于潜在维度8降低14.9%。这些结果使HQMMs超越了HMMs的理论推广，将其确立为面向科学序列数据的实用且表达力强的模型。 ###### 目录 1. [1引言](https://arxiv.org/html/2608.06554#S1) 2. [2从HMM到HQMM](https://arxiv.org/html/2608.06554#S2) 1. [2.1隐藏马尔可夫模型](https://arxiv.org/html/2608.06554#S2.SS1) 2. [2.2隐藏量子马尔可夫模型](https://arxiv.org/html/2608.06554#S2.SS2) 3. [3面向HQMM学习的NS\-RIS](https://arxiv.org/html/2608.06554#S3) 1. [3.1NS\-RIS算法](https://arxiv.org/html/2608.06554#S3.SS1) 1. [3.1.1黎曼增量更新](https://arxiv.org/html/2608.06554#S3.SS1.SSS1) 2. [3.1.2牛顿-舒尔茨回缩](https://arxiv.org/html/2608.06554#S3.SS1.SSS2) 2. [3.2数学保证](https://arxiv.org/html/2608.06554#S3.SS2) 4. [4数值分析](https://arxiv.org/html/2608.06554#S4) 1. [4.1设置与评估指标](https://arxiv.org/html/2608.06554#S4.SS1) 2. [4.2合成HMM测试性能](https://arxiv.org/html/2608.06554#S4.SS2) 3. [4.3合成HQMM测试性能](https://arxiv.org/html/2608.06554#S4.SS3) 5. [5实证分析](https://arxiv.org/html/2608.06554#S5) 1. [5.1剪接数据集](https://arxiv.org/html/2608.06554#S5.SS1) 2. [5.2剪接分类结果](https://arxiv.org/html/2608.06554#S5.SS2) 3. [5.3科学验证](https://arxiv.org/html/2608.06554#S5.SS3) 6. [6结论](https://arxiv.org/html/2608.06554#S6) 7. [A证明](https://arxiv.org/html/2608.06554#A1) 1. [A.1命题1的证明](https://arxiv.org/html/2608.06554#A1.SS1) 2. [A.2定理1的证明](https://arxiv.org/html/2608.06554#A1.SS2) 8. [参考文献](https://arxiv.org/html/2608.06554#bib) ## 1引言 隐藏马尔可夫模型 \(HMMs\) 是处理序列数据的标准语言。凡是由未观测状态过程驱动的观测时间序列，都会用到HMMs，其应用领域包括计算生物学、语音与语言处理、信号分析、金融以及许多其他科学领域。仅以生物学为例，HMM和profile HMM已成为建模蛋白质家族、序列基序和剪接位点结构的基础工具\(Krogh et al.,,1994 (https://arxiv.org/html/2608.06554#bib.bib17); Eddy,,1998 (https://arxiv.org/html/2608.06554#bib.bib9); Burge and Karlin,,1997 (https://arxiv.org/html/2608.06554#bib.bib5)\)。它们的成功源于一种简单且可解释的架构：一个隐马尔可夫链随时间演化，并根据当前状态条件发射观测。这种简单性也带来了局限性。当隐藏机制包含高阶、上下文相关或非经典依赖时，有限隐状态集上的概率向量可能需要很大的状态空间，或者无法高效表示相关依赖。 隐藏量子马尔可夫模型 \(HQMMs\) 为这一经典框架提供了原则性的扩展。更广泛地，物理学和机器学习领域的研究者通过将量子力学中的概率观融入图模型推断，发展了量子图模型\(Warmuth and Kuzmin,,2006 (https://arxiv.org/html/2608.06554#bib.bib33); Leifer and Poulin,,2008 (https://arxiv.org/html/2608.06554#bib.bib18); Yeang,,2010 (https://arxiv.org/html/2608.06554#bib.bib34); Leifer and Spekkens,,2013 (https://arxiv.org/html/2608.06554#bib.bib19)\)。HQMM不使用概率向量表示潜在信念状态，而是使用密度矩阵；不使用非负转移-发射矩阵，而是使用由Kraus算子表示的符号条件量子操作\(Monras et al.,,2010 (https://arxiv.org/html/2608.06554#bib.bib20); Clark et al.,,2015 (https://arxiv.org/html/2608.06554#bib.bib6); Deb et al.,,2026 (https://arxiv.org/html/2608.06554#bib.bib7)\)。这种形式保留了HMM的序贯似然结构，同时允许潜在状态通过非对角矩阵元编码相干性。先前工作已表明，HQMM可以比经典HMM更具表达力，并且能够更紧凑地表示某些序列过程\(Srinivasan et al., 2018a, (https://arxiv.org/html/2608.06554#bib.bib29); Ning,,2025 (https://arxiv.org/html/2608.06554#bib.bib24)\)。近期的应用与物理表述进一步将HQMM与序列分析、测量诱导的量子推断以及多体拓扑结构联系起来\(Souissi and Andolsi,,2026 (https://arxiv.org/html/2608.06554#bib.bib28); Kim et al.,,2026 (https://arxiv.org/html/2608.06554#bib.bib15)\)。量子机器学习的综述也将从数据中学习有表达力的量子序列模型视为一个重要的开放问题\(Schuld et al.,,2015 (https://arxiv.org/html/2608.06554#bib.bib27); Biamonte et al.,,2016 (https://arxiv.org/html/2608.06554#bib.bib4)\)。相关的量子图模型视角将HQMM与希尔伯特空间中的推断以及基于算子的随机过程模型联系起来\(Jaeger,,2000 (https://arxiv.org/html/2608.06554#bib.bib13); Zhu et al.,,2025 (https://arxiv.org/html/2608.06554#bib.bib35)\)。 核心障碍在于学习。HQMM参数必须满足迹保持Kraus约束\(\sum_{y,q}K_{y,q}^{\dagger}K_{y,q}=I\)，这使得在将所有Kraus算子堆叠后，可行参数空间成为一个复Stiefel流形。现有方法要么为保持可行性而付出高昂的计算代价，要么使用的更新不能始终将HQMM的表达力转化为在普通非量子生成数据上的更好性能。因此，HQMM在理论上作为HMM的推广颇具吸引力，但在HMM广泛使用的科学场景中，作为HMM的实用替代品仍稍显不足。 本文提出NS\-RIS，全称为基于Stiefel流形上牛顿-舒尔茨回缩的推断，用于可扩展的HQMM学习。该方法两次使用牛顿-舒尔茨正交化：第一次用于近似黎曼动量方向的极因子，第二次用于将更新后的Kraus矩阵回缩到Stiefel流形上。这样，NS\-RIS既保持了物理上的迹保持约束，又避免了在反复的学习循环中进行昂贵的矩阵分解。我们将NS\-RIS与现有的主要HQMM学习基线进行比较：Givens搜索 \(GS\)\(Srinivasan et al., 2018b, (https://arxiv.org/html/2608.06554#bib.bib30)\)、Stiefel流形上的约束优化 \(COSM\)\(Adhikary et al.,,2020 (https://arxiv.org/html/2608.06554#bib.bib1)\)，以及经典的期望最大化 \(EM\) HMM过程，后者作为标准的非量子基准。主要发现如下。 - •NS\-RIS为迹保持HQMM提供了一种无需分解的Stiefel流形学习方法。算法1 (https://arxiv.org/html/2608.06554#alg1)给出了完整的增量学习过程，算法2 (https://arxiv.org/html/2608.06554#alg2)给出了牛顿-舒尔茨正交化子程序；两者共同将Kraus约束作为算法的几何组成部分，而非事后修正。 - •命题1 (https://arxiv.org/html/2608.06554#Thmproposition1)从数学上解释了牛顿-舒尔茨设计的两个目的。第一步牛顿-舒尔茨近似极因子，该极因子是在矩阵算子范数下带约束的算子范数最速下降子问题的解，最优值通过矩阵核范数获得；第二步牛顿-舒尔茨近似矩阵Frobenius范数下的最近Stiefel回缩。 - •主要理论贡献是定理1 (https://arxiv.org/html/2608.06554#Thmtheorem1)，该定理在标准光滑性、随机梯度和有限牛顿-舒尔茨精度假设下建立了有限时间平稳性保证。这似乎是HQMM推断算法的首个数学收敛保证。该界将下降项、光滑性项、有限牛顿-舒尔茨可行性残差和随机动量跟踪项分开，展示了每个来源对最终平稳性水平的影响。 - •在标准66隐状态、66输出的HMM基准生成的合成数据上，NS\-RIS超过了EM训练的HMM基线，并且在所测试的潜在维度和Kraus秩上平均比COSM提高38.5%。在最佳配置中，相对COSM的改善达到50.6%，同时保持了具有竞争力的运行时间；详见第4.2小节 (https://arxiv.org/html/2608.06554#S4.SS2)以及图1 (https://arxiv.org/html/2608.06554#S4.F1)–2 (https://arxiv.org/html/2608.06554#S4.F2)。 - •在由22隐状态、66输出且Kraus秩w=1w=1的HQMM生成的合成HQMM基准上，NS\-RIS在GS、COSM和EM中取得了最佳的训练、验证和测试指标。其测试指标比COSM提高18.9%，同时运行时间减少12.0%，这表明性能提升并非通过增加计算成本获得；详见第4.3小节 (https://arxiv.org/html/2608.06554#S4.SS3)和图3 (https://arxiv.org/html/2608.06554#S4.F3)。 - •在真实的剪接位点分类基准上，NS\-RIS在高维潜在状态情形下优于EM和COSM，在Kraus秩上平均后，对于潜在维度6，平均误差相对COSM降低17.9%，对于潜在维度8降低14.9%。逐类结果进一步表明，在\(n,w\)=\(6,4\)\(n,w\)=\(6,4\)和\(8,4\)\(8,4\)时，EI、IE和负类错误均有改善，其中负类错误的降幅最大。第5.3小节 (https://arxiv.org/html/2608.06554#S5.SS3)的科学验证解释了为什么大于四字母核苷酸字母表的潜在维度具有生物学意义：它们可以编码剪接基序、外显子-内含子状态、位置上下文和长程依赖；见图4 (https://arxiv.org/html/2608.06554#S5.F4)–6 (https://arxiv.org/html/2608.06554#S5.F6)。 综上所述，这些发现提供了首个基准证据，表明在该设置下，HQMM能够在非量子模型生成的数据上大幅优于EM训练的HMM；同时，它们也确立了首个具有数学收敛保证的HQMM推断算法。这使HQMM不再仅仅是对HMM的数学推广：它表明，借助有效的Stiefel流形学习过程，HQMM能够在普通科学序列数据上可靠地带来实际收益。 本文其余部分组织如下。第2节 (https://arxiv.org/html/2608.06554#S2)回顾HMM，并引入本文贯穿使用的算子形式的HQMM。第3节 (https://arxiv.org/html/2608.06554#S3)在Stiefel流形上形式化HQMM学习，提出NS\-RIS，并给出主要数学保证。第4节 (https://arxiv.org/html/2608.06554#S4)在合成HMM和HQMM基准上评估NS\-RIS。第5节 (https://arxiv.org/html/2608.06554#S5)研究真实的剪接序列分类并讨论其科学意义。第6节 (https://arxiv.org/html/2608.06554#S6)总结全文，附录A (https://arxiv.org/html/2608.06554#A1)包含证明。 ## 2从HMM到HQMM 本节在第2.1小节 (https://arxiv.org/html/2608.06554#S2.SS1)回顾经典HMM形式，然后在第2.2小节 (https://arxiv.org/html/2608.06554#S2.SS2)引入HQMM扩展，其中量子态和Kraus算子推广了隐状态动态。 ### 2.1隐藏马尔可夫模型 HMM通过将所观测内容与仅能间接推断的内容分离，对离散时间序列进行建模。在时间tt，模型具有隐状态Xt∈\{1,...,n\}X_{t}\in\{1,\ldots,n\}，并发射观测Yt∈\{1,...,m\}Y_{t}\in\{1,\ldots,m\}。隐过程是马尔可夫的，因此XtX_{t}的分布仅通过Xt−1X_{t-1}依赖过去，而观测YtY_{t}在给定当前隐状态XtX_{t}的条件下生成。当数据存在时间依赖但驱动该依赖的机制无法直接观测时，这种架构非常有用。 设π∈Rn\pi\in\mathbb{R}^{n}为初始分布，设A∈R≥0n×nA\in\mathbb{R}_{\geq 0}^{n\times n}为转移矩阵，其中Aij=P\(Xt=i∣Xt−1=j\)A_{ij}=P(X_{t}=i\mid X_{t-1}=j)，设C∈R≥0m×nC\in\mathbb{R}_{\geq 0}^{m\times n}为发射矩阵，其中Cyi=P\(Yt=y∣Xt=i\)C_{yi}=P(Y_{t}=y\mid X_{t}=i)。我们采用列随机约定1Tπ=1\mathbf{1}^{T}\pi=1，1TA=1T\mathbf{1}^{T}A=\mathbf{1}^{T}，以及1TC=1T\mathbf{1}^{T}C=\mathbf{1}^{T}。若xt−1x_{t-1}表示在前t−1t-1个观测之后的隐状态滤波分布，则预测得到Axt−1Ax_{t-1}，然后再观测下一个符号。一旦观测到Yt=ytY_{t}=y_{t}，滤波分布更新为 xt=diag⁡\(C\(yt,:\)\)Axt−11Tdiag⁡\(C\(yt,:\)\)Axt−1\.x_{t}=\frac{\operatorname{diag}(C(y_{t},:))Ax_{t-1}}{\mathbf{1}^{T}\operatorname{diag}(C(y_{t},:))Ax_{t-1}}\。分母是当前模型下yty_{t}的一步预测概率。通常将转移和发射合并为一个符号索引算子 Ty=diag⁡\(C\(y,:\)\)A\.T_{y}=\operatorname{diag}(C(y,:))A\.(1)对于观测序列y ̄=y1,...,yT\bar{y}=y_{1},\ldots,y_{T}，似然为 P\(y ̄\)=1TTyTTyT−1⋯Ty1π\.P(\bar{y})=\mathbf{1}^{T}T_{y_{T}}T_{y_{T-1}}\cdots T_{y_{1}}\pi\。因此，HMM可以看作一个