学习可迁移的可预测性表示

# 学习可迁移的可预测性表征

来源：https://arxiv.org/html/2605.30592

Diyali Goswami¹ & Auroop R. Ganguly¹,²,³

¹可持续发展与数据科学实验室 (SDS Lab)，东北大学，波士顿，马萨诸塞州，美国  
²AI4CaS：面向气候与可持续发展的人工智能，体验式人工智能研究所，东北大学，波士顿，马萨诸塞州，美国  
³太平洋西北国家实验室 (PNNL)，里奇兰，华盛顿州，美国  

{goswami.di, a.ganguly}@northeastern.edu

###### 摘要

我们研究了为短轨迹窗口分配一个标量分数的问题，该分数反映其在可预测性层级的有序连续谱上的位置，范围从结构化的确定性动力学到无结构的随机噪声。现有方法在单一系统内处理确定性vs随机判别，并且无法产生跨系统具有一致数值解释的分数。我们将此问题形式化为五级可预测性阶梯上的排序估计，并确定了跨系统歧义的一个结构性来源：仅靠排序监督会使分数坐标在单调重参数化下不确定，我们称之为序数评分的规范自由度。我们提出规范固定序数网络 (GON)，这是一种时间卷积模型，训练时使用锚点与方差目标，将层级级分数均值固定到共享的目标坐标上。GON 处理 2-jet 特征，这些特征暴露了局部轨迹几何结构，该结构由光滑流保持，但被随机替代过程破坏。在五个保留的动力学系统上，从预训练的 GON 检查点初始化在所有窗口预算下始终优于从头训练，并且适应深度反映了与训练家族的几何接近度。零样本分数在随机边界处保留了序数结构，在该边界处替代过程最强烈地破坏了非线性几何，并且预训练初始化在所有窗口预算下始终优于从头训练。成对判别和全局一致的序数评分是两个不同的属性，需要一个稳定的分数坐标来实现跨系统迁移，这对自然和工程动力学系统中的可预测性评估、模型选择和早期预警诊断具有直接影响。

††脚注：代码将在接受和仓库清理后发布。

## 1 引言

观测到的时间序列通常可以看作是底层动力系统的投影，尽管生成过程可能是确定性的、随机的，或两者兼有。预测结构的来源决定了哪种建模策略是合适的。确定性混沌系统受底层流的支配，该流支持几何感知表示，即使长期预测受限于对初始条件的敏感依赖性。纯随机过程更适合用统计规律来描述。两种状态可以共享低阶矩，如自相关和功率谱，这使得仅凭观测难以区分。一个信号可能反映低维确定性动力学、随机过程，或一种保留某些结构而丢失其他结构的中间状态。

经典工具在单一系统内处理这种区分。替代假设检验 (Theiler 等, 1992; Schreiber and Schmitz, 1996) 询问信号是否偏离选定的随机零假设。李雅普诺夫指数估计器 (Wolf 等, 1985; Rosenstein 等, 1993) 在假定的确定性模型下量化不稳定性。复杂性统计量如排列熵 (Bandt and Pompe, 2002) 和样本熵 (Richman and Moorman, 2000) 将信号压缩为一个标量，旨在分离确定性与随机行为。机器学习方法扩展了动力系统中预测结构的研究，包括神经微分方程模型 (Chen 等, 2018)、神经算子 (Li 等, 2020; Lu 等, 2021) 以及用于混沌预测的预训练模型 (Lai 等, 2025)。这些方法在系统或家族内表征结构，而新的信号通常需要新的标定、新的替代或新的阈值决策。详细比较见附录 A。

本文解决一个具体问题：给定一个轨迹窗口，为其分配一个在可预测性层级有序连续谱上的位置。我们使用可预测性表示底层动力学约束未来轨迹演化的程度，这是控制流的属性，而不是任何特定模型或观测过程的属性。我们将这个连续谱实例化为一个五级**可预测性阶梯**，涵盖结构化确定性动力学、弱混沌状态、强混沌状态、结构化随机替代和无结构噪声。标准的确定性vs随机判别对应于这个更丰富的序数问题中的一个边界。核心问题在于，学习到的序数分数是否能够跨系统迁移，而不仅仅是分离单个系统内的类别。

序数设定引入了一种结构性歧义。如果一个标量分数正确地排列了阶梯层级，那么任何严格递增的重参数化在经过相应的阈值调整后都会保留相同的序数决策。仅凭正确的排序并不能确定分数的数值坐标，这是有序回归模型的可识别性问题 (McCullagh, 1980)，导致即使两个系统都产生相同的序数预测，它们的分数也无法比较。我们将此称为序数评分的**规范自由度**，并将其确定为跨系统迁移的结构性障碍；事后每个系统的重新标定无法替代，因为目标用例是零样本迁移，在这种情况下没有目标系统数据可用于拟合标定映射。

为解决此问题，我们提出**规范固定序数网络** (GON)，这是一种时间卷积模型，训练时使用基于锚点的序数目标。锚点固定了层级级分数均值的目标位置，并惩罚过度的层内分散，从而产生具有稳定坐标约定的标量分数。GON 处理 2-jet 特征（位置、速度和加速度），这些特征暴露了局部轨迹几何结构 (Koenderink and van Doorn, 1987)，由光滑流保持并被替代过程破坏；此表示在 Cranmer 等人 (2020) 中已应用于学习物理动力学。我们在十二个耗散混沌 ODE 系统上训练，这些系统因其有界吸引子和多样的几何结构而被选中，并在五个完全保留的系统上评估零样本迁移和少样本适应。主要贡献如下：

1. **问题形式化**。我们形式化了序数可预测性估计，并引入了可预测性阶梯，将规范自由度确定为跨系统分数歧义的结构性来源。
2. **方法**。我们提出 GON，它结合了 2-jet 轨迹特征和基于锚点的目标，以学习跨系统的共享分数坐标。
3. **实证结果**。我们表明规范固定能够实现跨系统序数迁移：预训练的 GON 在所有保留系统上优于从头训练；零样本分数在替代边界处保留序数连贯性；适应深度反映了与训练家族的几何接近度。

## 2 问题形式化

我们形式化**序数可预测性估计**：给定一个轨迹窗口，为其分配一个在有序可预测性谱上的位置，该位置在跨系统时保持有意义，并将二元确定性vs随机判别作为特例包含。

### 2.1 可预测性阶梯

令 \(x = (x_t)_{t=1}^T \in \mathbb{R}^{d \times T}\) 表示由未知过程生成的多变量时间序列。我们定义一个五级有序分类 \( \mathcal{R} = \{L_0, L_1, L_2, L_3, L_4\} \)，称为**可预测性阶梯**，按从更可预测到更不可预测的状态排列。

###### 定义 1 (可预测性阶梯)。层级满足 \(L_0 \prec L_1 \prec L_2 \prec L_3 \prec L_4\)，解释如下：

- **\(L_0\)** 稳定确定性。不动点或极限环，其中当前状态强烈约束未来，例如，最大李雅普诺夫指数 \(\lambda_{\max} \leq 0\) 的确定性流。
- **\(L_1\)** 弱混沌。确定性动力学，具有小的正不稳定性和较长但有限的可预测性视界，\(0 < \lambda_{\max}\tau \ll 1\)。
- **\(L_2\)** 强混沌。确定性动力学，具有更强的不稳定性和快速轨迹发散，\(\lambda_{\max}\tau \gg 0\)。
- **\(L_3\)** 结构化随机。保留确定性信号选定线性统计量但破坏非线性结构的过程，例如，保留功率谱但破坏确定性相空间几何的替代变换 \(x_t^{(3)} = \mathcal{S}(x_t^{(2)})\)。
- **\(L_4\)** 无结构随机。i.i.d. 噪声，除边缘分布外无预测结构，\(x_t \sim \mathcal{P}\) 且 \(I(x_t; x_{t+\tau}) = 0, \tau > 0\)。

这个阶梯反映了有限可预测性的两个轴。沿 \(L_0\)–\(L_2\)，状态是确定性的，随着李雅普诺夫不稳定性缩短预测视界，可预测性降低。\(L_2 \to L_3\) 转变则破坏了确定性几何：替代过程保留了线性统计量，同时移除了非线性流结构。层面 \(L_4\) 移除了除边缘分布外的所有时间结构。可以通过逐步增加不稳定性 (\(L_0\)–\(L_2\))、破坏确定性几何 (\(L_2\)–\(L_3\)) 或移除残余时间依赖性 (\(L_3\)–\(L_4\))，在相邻层级内引入更细的粒度。这种排序与非线性动力系统中的可预测性视界论证平行，其中轨迹发散增加会降低可预测性。

图 1: 可预测性阶梯构建。顶部：状态空间投影。底部：对应时间序列。层级 \(L_0\)–\(L_2\) 来自同一动力系统在不同状态下的情况。层级 \(L_3\) 通过替代生成获得，该过程保留了选定的线性统计量同时破坏了确定性结构。层级 \(L_4\) 对应无结构噪声。

### 2.2 序数可检测性

###### 定义 2 (序数可检测性)。在分布 \(\mathcal{D}\) over \((x, y) \in \mathcal{X} \times \{0,1,2,3,4\}\) 下，评分函数 \(E_\theta: \mathbb{R}^{d \times T} \to \mathbb{R}\) 是**序数可检测的**，如果
\[
\mathbb{E}[E_\theta(x) \mid y=i] < \mathbb{E}[E_\theta(x) \mid y=j] \quad \forall i<j.
\]

然后，阈值 \(\tau_0 < \dots < \tau_3\) 根据 \(h_E(x) = \sum_{m=0}^3 \mathbf{1}\{E(x) > \tau_m\}\) 定义分类器，将 \(x\) 映射到五个有序层级之一。

###### 命题 1 (单调重参数化不变性)。令 \(f: \mathbb{R} \to \mathbb{R}\) 严格递增。当阈值变换为 \(\tilde{\tau}_m = f(\tau_m)\) 时，由 \(E\) 诱导的预测器在 \(\tilde{E} = f \circ E\) 下不变。*(证明见附录 B)*

因此，序数监督确定的是分数的**排序**，而不是其数值**坐标**：分数只在单调重参数化下可识别。虽然这种歧义在单一系统内无害，但在迁移时变得重要，因为相同的分数值可能对应不同的可预测性状态。因此，跨系统比较需要一个共享的坐标约定，而锚点目标通过全局固定层级级分数位置来提供这一点。

## 3 方法

GON 包含三个组件：2-jet 预处理、时间卷积编码器和规范固定序数目标。

### 3.1 2-Jet 预处理

原始状态坐标携带系统特定的缩放、方向和单位。通过每个窗口的 2-jet 表示，可以暴露与这些系统特定因素无关的局部轨迹几何结构。对于光滑轨迹 \(x(t)\)，2-jet 是元组 \((x(t), \dot{x}(t), \ddot{x}(t))\)，包含位置、速度和加速度。这些量总结了直到二阶的局部行为，并提供了对切线方向和曲率等几何特征的直接访问。对于由光滑 ODE 生成的轨迹，这些分量通过控制流相互关联。相比之下，替代过程保留了选定的线性统计量，同时破坏了位置、速度和加速度之间的原始非线性关系。这使得 2-jet 成为区分确定性轨迹与结构化随机替代的自然表示。

##### 实现。给定窗口 \(x \in \mathbb{R}^{d \times T}\)，我们首先应用 Savitzky–Golay 滤波器（窗口长度 7，多项式阶数 3；如果信号长度更短，则夹紧到信号长度并保持奇数）得到平滑轨迹 \(\hat{x}\)。然后使用中心有限差分来估计导数，因为它们提供对称的二阶准确近似，同时最小化局部轨迹几何中的相位偏差：

\[
\dot{x}_t = \frac{\hat{x}_{t+1} - \hat{x}_{t-1}}{2\Delta t},
\]
\[
\ddot{x}_t = \frac{\hat{x}_{t+1} - 2\hat{x}_t + \hat{x}_{t-1}}{\Delta t^2}.
\]

从每个边界移除一个时间步以避免边缘效应。得到的表示为 \(J^2(x) = [\hat{x}, \dot{x}, \ddot{x}] \in \mathbb{R}^{3d \times (T-2)}\)，作为网络输入。

### 3.2 架构

编码器是一个由膨胀残差块组成的时间卷积网络 (TCN)，将 2-jet 输入映射到隐藏序列 \(h \in \mathbb{R}^{H \times T'}\)。归一化后，多尺度平均池化将 \(h\) 聚合为向量 \(z \in \mathbb{R}^{4H}\)，然后通过一个两层 MLP 映射到标量分数：
\[
E_\theta(x) = \mathbf{W}_2 \, \mathrm{GELU}\!\left(\mathrm{LN}(\mathbf{W}_1 z + b_1)\right) + b_2.
\]
输出通过 \(E_\theta \leftarrow c\,\tanh(E_\theta / c), c=5\) 进行平滑裁剪，使分数与锚点范围对齐。完整细节见附录 C。

### 3.3 规范固定序数目标

基于排序的监督并不能固定唯一的分数坐标（第 2.3 节）。我们通过分配目标位置 \(\{t_k\}_{k=0}^4 = \{-4, -2, 0, +2, +4\}\) 并训练模型使每个层级围绕其锚点集中来固定一个坐标。这些数值目标