受Lindblad启发的多时间尺度储备池计算:可分离的旋转与耗散

arXiv cs.LG 论文

摘要

介绍了一种受Lindblad启发的多时间尺度储备池架构,将旋转与耗散分离,从而独立控制混合、记忆和稳定性,在NARMA-20和Lorenz-63等基准上取得了有竞争力的结果。

arXiv:2608.04028v1 公告类型:新 摘要:回声状态网络通过固定循环动力学并仅训练线性读出,实现了高效的时序学习。然而,传统储备池通常在一个随机循环矩阵中同时容纳信号混合、记忆保持和稳定性。现有的结构化设计改善了拓扑、范数保持、泄漏或深度,但通常不能提供可逆混合与不可逆遗忘的独立模态控制,同时也没有直接的全局稳定性保证。我们提出了一种经典的受Lindblad启发的多时间尺度储备池,将开放系统动力学原理与结构化状态空间建模联系起来。循环算子由精确离散化的阻尼旋转模态组成,因此旋转和衰减成为控制相位混合和记忆丢失的独立设计变量。正交模态混合保持了正规性,而衰减谱直接决定了回声状态稳定性裕度,无需事后谱半径缩放。我们在十个对齐的随机种子上,将该方法与标准、泄漏、深度、正交、循环和下一代储备池,以及一个紧凑型训练门控循环单元进行了对比评估,覆盖线性记忆、非线性递归、混沌预测、延迟逻辑和真实传感器校准等任务。在整个基准测试套件中,所提出的储备池在有界NARMA-20上取得了最佳固定储备池性能,在Lorenz-63上取得了最低平均误差,追平了最强线性记忆结果,并在广泛的基准上保持总体竞争力。消融研究表明,旋转增加了状态多样性,而耗散提供了受控遗忘并改善了预测条件。由此产生的框架提供了一种可解释的循环架构,其中混合、记忆和稳定性是明确且可独立调节的设计变量。
查看原文
查看缓存全文

缓存时间: 2026/08/06 07:44

# 受Lindblad启发的可分离旋转与耗散的多时间尺度储备池计算
来源:https://arxiv.org/html/2608.04028
Jyotiranjan Beuria,Amit ShuklaJ\. Beuria 就职于印度德里 ISS 的 IKS 研究中心(电子邮件:jyotiranjan\.beuria@gmail\.com)。A\. Shukla 就职于印度喜马偕尔邦的印度理工学院曼迪分校(电子邮件:amit\.shukla@iitmandi\.ac\.in)。

###### 摘要

回声状态网络通过固定循环动力学并仅训练线性读出层,实现了高效的时间学习。然而,常规储备池通常需要在单个随机循环矩阵中同时兼顾信号混合、记忆保持和稳定性。现有的结构化设计改善了拓扑、范数保持、泄漏或深度,但一般无法在对可逆混合和不可逆遗忘提供独立模态控制的同时,直接给出全局稳定性保证。我们提出了一种受Lindblad启发的经典多时间尺度储备池,将开放系统动力学原理与结构化状态空间建模联系起来。循环算子由精确离散化的阻尼旋转模态组装而成,因此旋转和衰减成为控制相位混合与记忆损失的独立设计变量。正交模态混合保持正规性,而衰减谱直接决定回声状态稳定裕度,无需事后进行谱半径重缩放。我们使用十个对齐随机种子,将该方法分别与标准、泄漏、深度、正交、循环和下一代储备池,以及一个紧凑的端到端训练门控循环单元进行比较,任务涵盖线性记忆、非线性递推、混沌预测、延迟逻辑和真实传感器校准。在整个基准套件中,所提出的储备池在有界 NARMA-20 上取得最佳固定储备池性能,在 Lorenz-63 上取得最低平均误差,与最强的线性记忆结果持平,并在 NARMA-10、Mackey-Glass 预测、延迟 XOR 以及真实空气质量校准中总体保持竞争力。消融研究表明,旋转增加了状态多样性,而耗散则提供受控遗忘并改进预测的数值条件。由此产生的框架提供了一种可解释的循环架构,其中混合、记忆和稳定性是显式且可独立调优的设计变量。

## I引言

储备池计算固定一个非线性循环系统,仅训练一个线性读出层[14 (https://arxiv.org/html/2608.04028#bib.bib12),18 (https://arxiv.org/html/2608.04028#bib.bib13)]。因此,它避免了时间反向传播(BPTT),支持闭式训练,并能自然地映射到物理基底上[32 (https://arxiv.org/html/2608.04028#bib.bib15),23 (https://arxiv.org/html/2608.04028#bib.bib25)]。为了使生成的状态成为输入历史的良定义函数,循环必须忘记其初始条件:即回声状态特性(ESP)[14 (https://arxiv.org/html/2608.04028#bib.bib12),20 (https://arxiv.org/html/2608.04028#bib.bib16)]。一旦满足这一衰减记忆要求并具备足够的状态丰富性,具有线性读出层的固定储备池便构成衰减记忆滤波器的通用逼近器[3 (https://arxiv.org/html/2608.04028#bib.bib17),12 (https://arxiv.org/html/2608.04028#bib.bib18)]。

标准回声状态网络(ESN)[30 (https://arxiv.org/html/2608.04028#bib.bib50)]构造稠密随机循环矩阵,并重新缩放其谱半径。这种方案有效,但在架构上不透明。同一个矩阵既要混合坐标、保留有用的瞬态,又要压缩初始状态扰动,其元素没有直接的操作性解释。结构化储备池用循环[24 (https://arxiv.org/html/2608.04028#bib.bib19),25 (https://arxiv.org/html/2608.04028#bib.bib20)]、正交变换[29 (https://arxiv.org/html/2608.04028#bib.bib54),28 (https://arxiv.org/html/2608.04028#bib.bib21)]或分层组合[9 (https://arxiv.org/html/2608.04028#bib.bib23)]取代该矩阵。这些模型表明随机连接并非必需,但它们没有将可逆混合和不可逆遗忘显式参数化为独立的机制。

开放系统动力学提供了一种有用的分解。在Bloch矢量表示中,有限维Gorini-Kossakowski-Sudarshan-Lindblad(GKSL)演化的齐次部分包含一个反对称旋转贡献和一个耗散贡献[11 (https://arxiv.org/html/2608.04028#bib.bib27),16 (https://arxiv.org/html/2608.04028#bib.bib28),4 (https://arxiv.org/html/2608.04028#bib.bib38)]。量子储备池计算在量子基底中使用此类动力学,并从测量的可观测量中获取特征[8 (https://arxiv.org/html/2608.04028#bib.bib24),22 (https://arxiv.org/html/2608.04028#bib.bib26),27 (https://arxiv.org/html/2608.04028#bib.bib31)]。这里我们提出一个不同的问题:旋转-耗散分解能否作为经典循环矩阵的设计原则?

我们通过一个受开放系统动力学中使用的结构分解启发的经典储备池架构来回答这个问题。每个循环组件由一个可精确求解的模式构建,该模式结合了旋转与指数衰减;六个独立缩放的组件被拼接起来,以跨越多个记忆时间尺度。然后,一个正交变换混合模态坐标,同时保留它们各自的衰减特性。因此,“Lindblad启发”一词是在精确而有限的意义上使用的:该模型采用了生成元层面对于可逆旋转和不可逆耗散的分离,但不一定要求密度矩阵状态空间、完全正性、迹保持或量子测量。因此,所提出的系统是一个经典结构化储备池,而不是量子信道的模拟或物理实现。本研究做出以下四项贡献。

1. 1\.循环算子以闭式形式获得,在多时间尺度场景中具有相位旋转和径向衰减的独立参数。之后不再进行重缩放或谱归一化;因此,预设的衰减率保持其作为记忆和收缩时间尺度的直接解释。
2. 2\.所得算子是正规的,因此其奇异值和收缩因子可以被精确计算。特别地,其诱导二范数以最小衰减率的指数为上界,因此严格小于1。这提供了直接的回声状态稳定性,而无需在非正规矩阵中用谱半径控制代替奇异值控制,也无需对非正规雅可比矩阵的乘积做假设。
3. 3\.一项特征匹配的评估将所提出架构的竞争力与标准ESN[14 (https://arxiv.org/html/2608.04028#bib.bib12)]、泄漏ESN[13 (https://arxiv.org/html/2608.04028#bib.bib41)]、两层深度ESN[9 (https://arxiv.org/html/2608.04028#bib.bib23)]、正交储备池、跳变循环储备池(CRJ)[25 (https://arxiv.org/html/2608.04028#bib.bib20)]、下一代储备池计算(NG-RC)[10 (https://arxiv.org/html/2608.04028#bib.bib47)]以及一个紧凑的端到端训练GRU[6 (https://arxiv.org/html/2608.04028#bib.bib48)]进行比较。
4. 4\.机制消融、统计比较和训练时间测量确定了所提出设计最有效的场景。在报告线性记忆和有界NARMA-20改进的同时,也报告了任务特定的泄漏、多项式延迟或端到端训练循环模型表现更好的情况

相似文章

CRMA: 一种用于LLM模块化持续微调的谱界主干

arXiv cs.LG

CRMA引入了一种谱界残差适配器,通过Sinkhorn归一化强制实现双随机混合矩阵,使LLM能够持续微调而不发生灾难性遗忘。在Mistral-7B和Gemma-2-9B上的实验结果表明,与冻结基底的基线相比,后向迁移得到改善,遗忘减少。

频域储层计算

arXiv cs.LG

本文介绍FRESCO,一种完全在频域运行的回声状态网络架构,将密集递归更新的复杂度降至O(N),在基准测试上达到最先进性能的同时降低了计算成本。