循环表示的有限滞后算子几何

# 循环表示的有穷滞后算子几何 来源：https://arxiv.org/html/2607.01746 Kanishka Reddy 应用数学系 华盛顿大学 西雅图, WA 98105 kani@uw\.edu ###### 摘要 循环表示本质上是轨迹，但表示几何通常从静态快照中测量。本文针对观测到的源-后继对\((X_t,X_{t+\Delta})\)，发展了循环隐状态的有穷滞后算子几何。基本要素是条件输运定律\(Q_\Delta(dy\mid x)\)，通过稠密高斯源平滑算子估计。从这一有向有穷滞后定律出发，我们推导出源中心输运张量\(G_\Delta\)，它精确分解为条件扩散和相干位移，以及反对称坐标环流\(\mathcal{W}_\Delta^\rho\)，它总结了有向滞后流动。我们证明了仿射协方差（标量汇总具有显式度量依赖性）、有界轨迹云上稠密估计量的Lipschitz稳定性，以及一个有穷滞后分离结果，表明源中心输运能够检测到无穷小carré-du-champ几何无法记录的确定性循环运动。线性-高斯封闭形式用更新矩阵\(A_\Delta\)、源协方差和创新协方差来校准这些量。受控实验验证了分解、环流、协方差和稳定性预测。在性能匹配的重复复制网络中，该框架揭示了总输运规模和相干位移迹的架构相关差异，而相干位移分数依赖于度量和分辨率。 ## 1 引言 神经表示常作为点云进行分析，通过相似性度量、邻域图、谱摘要或扩散算子恢复几何[35,22,2,9,33,24,1,6,11,36]。在静态前馈设置中，算子优先的观点用特征云上的光滑马尔可夫算子替代硬图构造，并从该算子导出几何可观测量。这在层是快照时很自然。循环表示则不同，因为隐状态\(h_t\)的意义不仅在于它所在的位置，更在于循环计算将其送往何处。因此，基本要素应是观测到的源-后继对上的有穷滞后定律，而非单一云上的对称核。 我们定义 \(Q_\Delta(dy\mid x)=\mathcal{L}(X_{t+\Delta}\in dy\mid X_t=x)\)，该定律由循环更新和序列/输入分布共同诱导。经验估计器对邻近源状态进行平滑，并将其输运到其附着的后继状态。即使隐状态本身并非自主马尔可夫状态，这也给出了一个有向有穷滞后算子。 中心对称可观测量是源中心输运张量 \(G_\Delta(x)=\frac{1}{2\tau}\int(y-x)(y-x)^\top Q_\Delta(dy\mid x),\quad \tau=\Delta\,dt\)。源中心化是关键选择。若设 \(m_\Delta(x)=\tau^{-1}\mathbb{E}[Y-X\mid X=x],\quad C_\Delta(x)=\tau^{-1}\operatorname{Cov}(Y-X\mid X=x)\)，则 \(2G_\Delta(x)=C_\Delta(x)+\tau\,m_\Delta(x)m_\Delta(x)^\top\)。因此有穷滞后输运精确分解为条件扩散和相干位移。以条件均值中心化会移除第二项，而源中心化则将确定性循环运动保留为几何的一部分。 我们还定义了反对称坐标环流\(\mathcal{W}_\Delta^\rho\)，这是一个滞后的源-后继交叉矩，总结了表示坐标中的有向流动。这些对象与输运算子、Koopman、TICA和VAMP方法[38,45,34,39,47,28]相关，但用途不同。那些方法估计预测算子或提取慢模态。而这里，有穷滞后定律被几何化地使用，其二阶矩描述隐状态空间中的输运尺度、条件扩散、相干位移和有向环流。 #### 贡献。 本文做出四项贡献。 1. 1.我们通过条件输运定律\(Q_\Delta\)、源中心输运张量\(G_\Delta\)及其精确的扩散/位移分解、以及坐标环流\(\mathcal{W}_\Delta^\rho\)，定义了循环表示的有穷滞后算子几何。 2. 2.我们证明了结构结果：具有依赖于度量的标量汇总的仿射协方差、有界轨迹云上稠密高斯估计量的Lipschitz稳定性，以及一个有穷滞后分离定理，表明一阶确定性生成器的无穷小carré du champ为零时，\(G_\Delta\)仍能观察到确定性循环运动。 3. 3.我们推导了\(\bar{G}_\Delta\)和\(\mathcal{W}_\Delta\)的线性-高斯封闭形式，提供了与静态前馈算子几何中高斯桥平行的解析校准。 4. 4.我们在受控系统上验证了形式量，并在具有容量和记忆视界控制的性能匹配重复复制网络上进行说明。 该框架天生具有有穷滞后性。它不要求隐状态本身是自主马尔可夫的，也不将循环计算简化为线性-高斯模型。线性-高斯分析是一种校准。训练网络实验在明确的带宽和归一化选择下报告框架的可观测量。 ## 2 相关工作 #### 表示的算子几何。 扩散几何和Bakry–Émery\(\Gamma\)-演算从马尔可夫算子而非硬邻域图构建几何对象[3,4,6,11,31,17,18,16,24,1]。在前馈表示中，固定层特征云诱导一个高斯核扩散算子，其输运、谱、标签边界和局部尺度可观测量可直接研究[36]。我们保留了算子优先原则，但将静态对称扩散算子替换为源-后继隐状态对上的有向有穷滞后输运定律。 #### 输运算子和滞后表示学习。 Koopman和Perron–Frobenius方法、动态模态分解、EDMD、核EDMD、TICA、VAMP和输运算子学习都使用滞后算子来建模动态数据[38,45,46,20,21,34,39,47,28,13,14,10,29]。它们的主要目标是预测、相干模态发现或变分评分。我们的用途是几何性的，通过源中心对称矩和反对称滞后交叉矩来总结有穷滞后条件定律。 #### 循环网络分析。 RNN动力学已通过不动点、慢点、局部线性化、低秩结构、瞬态动力学和门控机制得到研究[41,42,26,27,37,40,30,5,44,32,25,23,19,12,15,8]。这些方法揭示了动力学骨架或降阶机制，通常通过显式建模假设。有穷滞后算子几何是互补的，它无需发现不动点、局部线性化或低秩参数化，即可在选定滞后下总结观测到的隐状态输运。 #### 稳定性与硬图。 硬\(k\)-最近邻邻接不是点云的Lipschitz函数。绑定或接近绑定的邻居距离在任意小的扰动下可能改变选定的邻接[7,43,36]。光滑高斯核算子避免了这种不连续性。我们证明了有穷滞后循环输运的相应稠密估计量稳定性结果，并使用稠密估计量作为与理论匹配的对象。 ## 3 有穷滞后算子几何 我们通过条件有穷滞后输运定律形式化循环表示几何。我们不仅询问隐状态如何作为云排列，还询问循环计算在固定滞后\(\Delta\)后将其送往何处。这产生了有限步运动的源中心输运张量和有向滞后流动的反对称环流统计量。 令\(h_t^{(s)}\in\mathbb{R}^d\)为序列\(s\)在时刻\(t\)的隐状态。固定滞后\(\Delta\geq 1\)，设\(\tau=\Delta\,dt\)，并在所有两个状态都被观测到的索引上形成 \(x_i=h_t^{(s)},\quad y_i=h_{t+\Delta}^{(s)}\)。 ### 3.1 输运算子 ###### 定义1（有穷滞后输运定律）。 有穷滞后条件输运定律为 \(Q_\Delta(dy\mid x)=\mathcal{L}(X_{t+\Delta}\in dy\mid X_t=x)\)，该定律关于联合序列和输入分布取期望。有界可观测量的关联算子为 \((P_\Delta f)(x)=\int f(y)\,Q_\Delta(dy\mid x)\)。 我们不假设隐状态单独是自主马尔可夫状态。对于输入驱动的循环网络，\(P_\Delta\)是由循环和输入分布联合诱导的条件输运算子。 我们通过在源空间中进行高斯平滑来估计\(Q_\Delta\)。对于带宽\(\varepsilon>0\)，有 \(w_i(x_q)=\frac{\exp(-\|x_q-x_i\|^2/4\varepsilon)}{\sum_j\exp(-\|x_q-x_j\|^2/4\varepsilon)},\quad \widehat{Q}_\Delta(dy\mid x_q)=\sum_i w_i(x_q)\delta_{y_i}(dy)\)。 (1) 索引\(i\)表示邻近的源，其附着的后继\(y_i\)贡献于查询源\(x_q\)的条件定律。因此，稠密估计器在源空间中平滑，但输运到后继坐标。这是一个用于后继值输运的源平滑算子，而非列索引本身是后继状态的转移矩阵。 在有限带宽下，\(\widehat{Q}_\Delta\)估计一个分辨率平滑的条件定律。因此，\(\widehat{C}_\Delta\)既包含真实条件变化，也包含由平滑附近源状态引起的变化。这是查询经验输运定律的分辨率。第5.2节和附录F.6中的带宽扫描明确报告了这种依赖性。对于受控的线性-高斯校准（其中总体条件矩已知），我们直接计算总体矩。仅在说明处使用\(k\)-最近邻近似。与稠密算子不同，硬邻居选择不是源云的Lipschitz函数（附录A.6）。欧几里得标量汇总在中心RMS归一化后报告（附录A.5）。 ### 3.2 源中心输运张量 ###### 定义2（源中心输运张量）。 对于源\(x\in\mathbb{R}^d\)， \(G_\Delta(x)=\frac{1}{2\tau}\int(y-x)(y-x)^\top Q_\Delta(dy\mid x),\quad \bar{G}_\Delta^\rho=\int G_\Delta(x)\,\rho(dx)\)。 \(G_\Delta(x)\)是坐标函数上的正半定有穷滞后二次型。它以源状态而非条件均值后继为中心，因此在选定滞后下保留了相干运动。 定义 \(m_\Delta(x)=\tau^{-1}\mathbb{E}[Y-X\mid X=x],\quad C_\Delta(x)=\tau^{-1}\operatorname{Cov}(Y-X\mid X=x)\)。 ###### 命题1（源中心分解）。 只要条件二阶矩存在， \(2G_\Delta(x)=C_\Delta(x)+\tau\,m_\Delta(x)m_\Delta(x)^\top\)。 该恒等式是\(D=Y-X\)的二阶矩分解。其作用在于概念性：\(C_\Delta\)度量条件扩散，而\(\tau m_\Delta m_\Delta^\top\)度量条件均值中心化会移除的相干位移。 平均并取迹得到 \(2\,\operatorname{tr}(\bar{G}_\Delta^\rho)=\underbrace{\int\operatorname{tr}(C_\Delta(x))\,\rho(dx)}_{\text{条件扩散迹}}+\underbrace{\tau\int\|m_\Delta(x)\|^2\,\rho(dx)}_{\text{相干位移迹}}\)。 (2) 相干位移分数\(F_\Delta^\rho\)是第二项占右侧总和的分数。对于训练好的输入驱动网络，条件扩散包括来自输入的变异性