针对CTF4Science Lorenz挑战的度量感知混合预测

# 面向CTF4Science Lorenz挑战的度量感知混合预测方法
来源：https://arxiv.org/html/2606.04191
###### 摘要。

我们描述了针对CTF4Science Lorenz挑战所采用的方法，该基准测试混合了短期预测、长期分布匹配以及跨越九个任务对的轨迹重建。关键发现是，没有任何单一模型族能够在所有指标上占据主导地位。相反，我们构建了一个度量感知的混合系统，为每个指标族分配了不同的预测器：(1) 用于全轨迹重建的合成预训练去噪器，(2) 用于前20步预测的Lorenz ODE拟合与轨迹生成，(3) 使用合成Lorenz库进行直方图尾部替换以用于长期评估。来自该系统系列的代表性成熟提交在公共排行榜上获得了83.83551分，而一个采用相同思路的小型后续叠加提交达到了83.85529分。我们侧重于更清晰的中间系统，因为它包含了完整方法，同时足够简单以便复现和分析，而最终提交可以理解为同一骨干的保守扩展。

## 1. 引言

如果针对单个代理指标优化单个预测器，混沌预测基准测试很容易被误读。CTF4Science Lorenz挑战尤其复杂，因为其九个任务对由三种不同的指标评分：前20步的短期精度、最后500步的长期分布相似性以及对含噪观测的全轨迹重建。这些指标奖励不同的行为。一个能很好预测接下来几步的模型可能在长期统计上失败，而一个看起来平滑的去噪器如果方差略有收缩，仍可能表现不佳。

因此，我们的解决方案变成了系统问题，而非纯粹的建模问题。我们结合了经典信号处理、神经去噪和基于物理的Lorenz拟合，然后按度量区域组装提交。实际的转折点包括：

- •认识到重建对简单平滑的偏爱远超预期，
- •使用直接Lorenz轨迹生成来处理短期任务，
- •利用长期指标忽略时间顺序，仅对最后500行的一维边际直方图评分的事实。

结果是一个模块化的混合流水线，其各部分可以独立改进。表1 (https://arxiv.org/html/2606.04191#S1.T1) 总结了驱动设计的指标分解。

表 1. 在我们最终方法系列中使用的任务分解。
## 2. 相关工作

Lorenz挑战属于更广泛的CTF4Science工作的一部分，该工作提出了针对科学机器学习基准测试（包括Lorenz和Kuramoto–Sivashinsky系统）的隐藏测试和多指标评估 (Wyder et al., 2026 (https://arxiv.org/html/2606.04191#bib.bib8))。该工作推动了挑战设定以及使用单独的指标进行预测、重建和泛化。最近的工作已将相同的共同任务框架扩展到其他科学领域。Seismic Wavefield CTF研究了在稀疏传感、噪声和现实物理变异下的波场数据重建与预测 (Yermakov et al., 2025 (https://arxiv.org/html/2606.04191#bib.bib9))。CTF4Nuclear将类似的隐藏测试评估范式应用于核裂变与核聚变系统的替代建模与监测任务 (Riva et al., 2026 (https://arxiv.org/html/2606.04191#bib.bib10))。这些基准测试共享一个目标：用可复现且针对特定任务的评估取代临时的模型比较。

我们的方法也与之前关于数据驱动混沌预测的工作相关联。储层计算和回声状态网络已被用作非线性动力系统的基线 (Jaeger, 2001 (https://arxiv.org/html/2606.04191#bib.bib2); Pathak et al., 2018 (https://arxiv.org/html/2606.04191#bib.bib3))，而神经常微分方程和基于Transformer的时间序列模型则提供了更灵活的替代方案 (Chen et al., 2018 (https://arxiv.org/html/2606.04191#bib.bib4); Nie et al., 2023 (https://arxiv.org/html/2606.04191#bib.bib7))。然而，在这个挑战中，这些模型系列作为组件和基线而非单一的端到端解决方案最为有用。

## 3. 挑战结构与评分

该基准测试包含九个任务对，这些任务对基于不同观测条件下的Lorenz轨迹构建。任务对2和4是重建任务：输入是含噪轨迹，得分是基于整个序列与干净目标之间的相对l2\\ell\_\{2\}误差。任务对1、6、7、8和9包含一个短期得分，该得分仅在前20个预测步骤上定义。任务对1、3、5、6和7包含一个长期得分，该得分比较每个坐标最后500个预测步骤的一维直方图。重要的是，长期指标忽略了该最后块内部的时间顺序和跨坐标一致性。

这种结构为按区域拼接创造了机会。如果前20步和最后500步是独立评分的，那么提交可以使用一个预测器用于短前缀，另一个不同的生成器用于最终尾部，中间部分使用任何有效的填充。我们积极利用了这一特点，但仅在检查了每个特定区域的替换在排行榜数据上有效之后。

更正式地说，如果yy是隐藏的目标轨迹，y^\\hat\{y\}是预测，那么短期得分是在前k=20k=20步上的相对误差，

\\(1\\)S\_{\\mathrm{short}}=100\\left\(1-\\frac\{\\lVert y\_\{1:k\}-\\hat\{y\}\_\{1:k\}\\rVert\_\{2\}\}\{\\lVert y\_\{1:k\}\\rVert\_\{2\}\\}\\right\)。S\_\{\\mathrm\{short\}\}=100\\left\(1\-\\frac\{\\lVert y\_\{1:k\}\\-\\hat\{y\}\_\{1:k\}\\rVert\_\{2\}\}\{\\lVert y\_\{1:k\}\\rVert\_\{2\}\\}\\right\)。重建使用相同的结构，但针对整个轨迹。长期评分则比较最后m=500m=500个点的逐坐标直方图：

\\(2\\)S\_{\\mathrm{long}}=100\\left\(1-\\frac\{1\}\{3\}\\sum\_\{j=1\}^\{3\}\\frac\{\\lVert h\_\{j\}\(y\_\{T-m+1:T\}\) - \\hat\{y\}\_\{T-m+1:T\}\\rVert\_\{1\}\}\{\\lVert h\_\{j\}\(y\_\{T-m+1:T\}\)\\rVert\_\{1\}\\}\\right\)，S\_\{\\mathrm\{long\}\}=100\\left\(1\-\\frac\{1\}\{3\}\\sum\_\{j=1\}^\{3\}\\frac\{\\lVert h\_\{j\}\(y\_\{T\-m\+1:T\}\) \- h\_\{j\}\(\\hat\{y\}\_\{T\-m\+1:T\}\)\\rVert\_\{1\}\}\{\\lVert h\_\{j\}\(y\_\{T\-m\+1:T\}\)\\rVert\_\{1\}\\}\\right\)，其中hj\(⋅\)h\_\{j\}\(\\cdot\)表示坐标jj的一维直方图。这一简单观察——最后一个指标完全丢弃了顺序——对我们最终的设计至关重要。

## 4. 方法

### 4.1. 预测器库

我们没有强制使用一个应用于每个任务对的单一端到端模型，而是维护了一个小型专用预测器库：

- • 一个回声状态网络 (ESN) 基线 (Jaeger, 2001 (https://arxiv.org/html/2606.04191#bib.bib2); Pathak et al., 2018 (https://arxiv.org/html/2606.04191#bib.bib3))，用于稳定的通用预测，
- • 神经常微分方程模型 (Chen et al., 2018 (https://arxiv.org/html/2606.04191#bib.bib4))，用于学习的连续时间动力学，
- • 一个合成预训练的 PatchTST 去噪器 (Nie et al., 2023 (https://arxiv.org/html/2606.04191#bib.bib7))，
- • 一个用于重建的一维CNN去噪器，
- • 显式的 Lorenz 系统拟合与 RK4 展开 (lorentz1963)，用于物理基础的短期外推，
- • 以及用于优化直方图指标的合成或真实长期尾部。

最终系统并未平均地使用每个组件。ESN 和 NODE 主要作为基线，后续的收益来自三个主导思想：在任务对2和4上更好的去噪、在短时任务对上的直接 ODE 拟合、以及感知评分的长期尾部替换。

### 4.2. 重建：去噪胜过通用预测

我们的早期基线使用了一个 PatchTST 风格的 Transformer (Nie et al., 2023 (https://arxiv.org/html/2606.04191#bib.bib7))，该 Transformer 在合成含噪到干净的 Lorenz 对上预训练，然后在挑战轨迹上微调。与朴素预测相比，这已经有所帮助，但真正的突破来自于直接测试简单的平滑器。在任务对2和任务对4的噪声水平下，一个窗口大小为7的 Savitzky–Golay 滤波器 (Savitzky and Golay, 1964 (https://arxiv.org/html/2606.04191#bib.bib5)) 比我们现有的 PatchTST 提交更强，将公共得分从 78.83 提升到了 80.99。这是第一个重要的提醒：基准测试奖励的是正确的方差，而非模型的复杂程度。

随后，我们在匹配高斯噪声污染的合成 Lorenz 轨迹上训练了一个更强的 1D U-Net 风格去噪器 (Ronneberger et al., 2015 (https://arxiv.org/html/2606.04191#bib.bib6))。该网络在重叠窗口上运行，并残差预测干净信号。该去噪器的多种子集成后来成为成熟提交中的重建骨干。在最终系列中，我们保留了 CNN-v2 输出和 Savitzky–Golay 输出之间的小凸组合，作为对轻微方差过度校正的防范。

这一进展值得强调，因为它塑造了我们后续的工作流程。一旦一个简单的经典滤波器在真实排行榜上击败了 Transformer，我们就不再假设更具表现力的模型会更好地迁移。随后的每个改变都必须证明自己相对于强学习基线和强手工设计基线都有优势。

一个实际细节也很重要：重建质量与输出方差的准确性密切相关。几个模型产生了看似合理的轨迹，但标准差略有压缩，这损害了归一化全轨迹误差，足以在排行榜上产生影响。因此，我们检查了逐坐标的均值和标准差以及代理得分，并倾向于保留正确 Lorenz 尺度的方法。

### 4.3. 短期预测：直接拟合 Lorenz 系统

对于短时任务，尤其是任务对6-9，我们发现直接 Lorenz 拟合比通用序列模型更可靠。我们使用了两个相关变体。

#### ODE 延续。
当测试段紧接在一个干净的训练段之后开始时，我们通过最小二乘法从训练轨迹中提取的单步转换来拟合 Lorenz 参数 (\\(\\sigma,\\rho,\\beta\\) \\(\\sigma,\\rho,\\beta\\))，然后使用 RK4 向前积分。这在任务对1上效果很好。

#### 轨迹生成。
对于较短或含噪的上下文，我们同时优化 Lorenz 参数和隐式初始状态：

\\(3\\) \\min\_\{\\sigma,\\rho,\\beta,x\_\{0\}\\}\\sum\_\{t=0\}^\{N\-1\}\\ell\\\!\\left\(x\_\{t\}\(\\sigma,\\rho,\\beta,x\_\{0\}\),y\_\{t\}\\right\)，\\min\_\{\\sigma,\\rho,\\beta,x\_\{0\}\\}\\sum\_\{t=0\}^\{N\-1\}\\ell\\\!\\left\(x\_\{t\}\(\\sigma,\\rho,\\beta,x\_\{0\}\),y\_\{t\}\\right\)，其中 \\(x\_t\\) \\(x\_t\\) 是 RK4 轨迹，\\(y\_t\\) \\(y\_t\\) 是观测窗口。对于含噪窗口，我们使用了诸如 soft-l1\\ell\_\{1\} 之类的鲁棒损失。该系列方法负责了之前从 70 多分到 78+ 范围的跳跃，并在后续系统中保持了竞争力。本文研究的成熟中间提交具体将任务对6的短期预测从早期的短窗口轨迹生成预测，替换为使用 Savitzky–Golay 预处理（窗口7）的更平滑参数拟合，这将公共得分从 83.75476 提升至 83.83551。

从建模角度来看，生成的主要好处不是完美地解决了整个 1000 步预测。相反，它在头 20 步内产生了更好的局部几何匹配，而这正是短期指标所奖励的。轨迹的其余部分如果需要，可以从不同的骨干继承。

### 4.4. 长期预测：优化指标实际评分的内容

长期指标只比较最后 500 步的逐坐标直方图。它*不*评分时间顺序。因此，我们不再将长尾视为标准的预测问题。

我们第一个有用的尾部替换只是简单地将来自典型 Lorenz 轨迹的一个干净 500 步块复制到选定任务对的最后块中。后来，我们通过生成*直方图模板尾部*改进了这一点：对于选定的 \\(\\rho\\)，我们模拟了一个大型合成 Lorenz 库，独立地为每个坐标提取 500 个分位数，然后对每个坐标进行独立随机洗牌，使得提交的行不再形成明显的单调斜坡。与连续块相比，这减少了采样噪声，同时保留了指标所看到的边际分布。

如果 \\(\\mathcal{L}\_{\\rho,j}\\) \\(\\mathcal{L}\_\{\\rho,j\}\\) 是参数值 \\(\\rho\\) 下坐标 \\(j\\) 的合成库，那么我们的尾部生成器计算

\\(4\\) \\tilde{y}^\{(j)\}\_\{i\}=Q\_\{\\mathcal{L}\_\{\\rho,j\}\\}\\\!\\left\(\\frac\{i\-0.5\}\{500\}\\right\),\\quad i=1,\\dots,500，\\tilde{y}^\{\(j\)\}\_\{i\}=Q\_\{\\mathcal{L\}\_\{\\rho,j\}\}\\\!\\left\(\\frac\{i\-0\.5\}\{500\}\\right\),\\quad i=1,\\dots,500，随后在每个坐标内进行独立随机置换。这是一个不寻常的预测规则，但它是针对基准测试目标定制的。

第一个直方图模板提交，仅替换了任务对3、5和6的尾部，得分跃升至 83.62。后来经过调整的直方图尾部系统进一步细化了这些尾部参数，达到了 83.75476。本文讨论的成熟系统随后保持这些长期尾部不变，仅改进了任务对6的短期部分。

从概念上讲，这种尾部构造可以看作是一种轻量级的分布匹配形式。经验上，它比尝试将单一的混沌轨迹展开数百步要稳定得多。

### 4.5. 提交组装

我们成熟的提交堆栈继承了每个评分区域的最佳预测器：

- • 任务对2和4：全轨迹去噪，
- • 任务对1：ODE 延续用于短前缀，继承长期尾部，
- • 任务对6-9：ODE 生成或拟合延续用于短期，
- • 任务对1、3、5、6、7：基于块或基于直方图的长期尾部。

不直接评分的中间区域由相应的基线轨迹填充。表2 (https://arxiv.org/html/2606.04191#S4.T2) 总结了本文用作主要参考点的具体中间配方。我们侧重于这个系统，因为它是最清晰的成熟提交：它已经包含了重建栈、调整过的直方图尾部以及最终成功的任务对6短期更改，同时避免了一些后期的小型对冲，这些对冲只给最终分数增加了千分之几。

表 2. 中间成熟系统中用作主要参考点的每任务对配方。
### 4.6. 验证与校准协议

主要困难之一是局部验证可能产生严重误导。一种在单个保留的轨迹窗口上表现更好的方法，常常无法迁移到排行榜上，尤其是在混沌的长时任务上。因此，我们采用了一种分层验证协议。

首先，对于训练中有可用干净长参考的预测任务对，我们针对多个不相交的代理窗口而不是单个分割来评估更改。这对于长期替换尤为重要，因为一个有利的窗口可能会造成稳健收益的假象。其次，对于重建，我们不仅比较归一化误差，还比较输出统计量（如标准差），因为欠平滑和过平滑的去噪器会以不同的方式失败。

## 5. 结果

表3 (https://arxiv.org/html/2606.04191#S5.T3) 展示了改进的主要轨迹。记录并非随模型复杂度的增加而单调变化。最大的跃升来自于更好的度量对齐：用于重建的 Savitzky–Golay、用于长期测量的直方图尾部替换以及用于短期测量的 ODE 拟合。

表 3. 按方法阶段划分的代表性排行榜进展。
最终提交可以看作是对该中间骨干的保守扩展。相对于该骨干，它增加了两个经过反复公开和OSF校准检查的小改动：用于任务对5的全分位数长期尾部，以及一个温和的任务对2/任务对4重建对冲，混合了 CNN-v2 和 Savitzky–Golay-5。这些改动