混合而非挑选：为何合成语料组合对时间序列基础模型预训练至关重要

# 混合而非选择：为何合成语料组成对时间序列基础模型预训练至关重要
来源：https://arxiv.org/html/2606.09912
###### 摘要

为时间序列基础模型预训练选择错误的合成生成器代价高昂：在相同的训练预算下，最佳和最差生成器在预测误差上可产生高达2×2\\times的差距，然而该领域尚无原则性的方法来进行此选择。问题还因生成器排名在不同架构间不稳定而更加复杂：在从零训练的 Chronos-T5-Mini 和 Moirai-Small 上评估的 11 个生成器族中，我们发现哪些生成器有用取决于模型架构。我们并非解决生成器选择问题，而是绕开它：所有生成器的简单等权混合对两种架构都能达到或超越最佳单个生成器的性能，并且将此混合与真实数据结合后能产生整体最强的预训练语料。因此，合成预训练是一个语料组成问题，而非生成器选择问题，且组成选择应针对每个模型族进行验证，而非假定其可迁移。

## 1 引言

时间序列基础模型（TSFMs）越来越多地使用合成数据进行预训练，无论是作为主要来源[Moroshan et al., 2025 (https://arxiv.org/html/2606.09912#bib.bib6)]还是作为真实语料的增强手段[Ansari et al., 2024 (https://arxiv.org/html/2606.09912#bib.bib1)]，其动机是真实世界数据的稀缺性和许可限制。然而，使用哪些生成器以及如何组合它们的选择通常是临时做出的。生成器的选择受惯例或便利性驱动，而非系统评估，而关于如何构建预训练语料这一更广泛的问题——包括包含哪些生成器、是否混合不同族类以及混入多少真实数据——在很大程度上仍未得到研究。

一种自然的方法是选择输出与真实时间序列最相似的生成器，这一假设隐含在基于特征的验证工作中，这些工作测量合成序列是否匹配真实的统计结构[Bahrpeyma et al., 2021 (https://arxiv.org/html/2606.09912#bib.bib11); Fulcher and Jones, 2017 (https://arxiv.org/html/2606.09912#bib.bib23); Lubba et al., 2019 (https://arxiv.org/html/2606.09912#bib.bib18)]。然而，与真实数据的相似性和对预训练的有用性是两个不同的属性。

现有关于合成 TSFM 预训练的研究[Ansari et al., 2024 (https://arxiv.org/html/2606.09912#bib.bib1); Das et al., 2024 (https://arxiv.org/html/2606.09912#bib.bib32); Moroshan et al., 2025 (https://arxiv.org/html/2606.09912#bib.bib6); Woo et al., 2024 (https://arxiv.org/html/2606.09912#bib.bib27)]尚未系统性地检验基于保真度的生成器选择是否能转化为下游性能，生成器排名是否能在不同模型架构间迁移，或者合成数据与真实数据在预训练语料中应如何平衡。

我们认为这些并非孤立问题，而是单一语料组成问题的不同方面，类似于在大语言模型预训练中研究的混合数据挑战，其中语料设计决策已被证明会显著影响下游质量[Xie et al., 2023 (https://arxiv.org/html/2606.09912#bib.bib33)]。

为验证这一点，我们对跨越统计、随机、动力学和波形过程的 11 个合成生成器族进行了系统评估。我们分别使用每个单独的生成器以及所有 11 个生成器的等权混合，从零训练了 Chronos-T5-Mini [Ansari et al., 2024 (https://arxiv.org/html/2606.09912#bib.bib1)] 和 Moirai-Small [Woo et al., 2024 (https://arxiv.org/html/2606.09912#bib.bib27)]。然后，我们通过以不同比例将真实参考语料与合成混合语料相结合，研究真实-合成组成。真实参考语料采样自 GIFT-Eval 预训练池[Aksu et al., 2024 (https://arxiv.org/html/2606.09912#bib.bib22)]，通过构建方式避免了训练-测试泄露。所有模型均在包含 28 个数据集的 GIFT-Eval 基准上进行零样本评估。

我们的研究得出三个主要发现：

1. 1. 合成生成器是不可互换的：在 11 个生成器族中，下游效用在同一训练预算下差异很大，且生成器排名在 Chronos-T5-Mini 和 Moirai-Small 之间存在显著差异。
2. 2. 所有生成器的等权混合提供了一个稳健的纯合成默认方案：对于 Moirai-Small，它匹配最强的单个生成器；对于 Chronos-T5-Mini，它则有所提升。
3. 3. 组合真实和合成数据可以匹配或改善两种架构的纯源基线，最强的语料结合了二者。最佳比例依赖于架构，这促使对语料组成进行针对模型的验证。

## 2 实验设计

我们将合成时间序列预训练评估为一个语料组成问题。我们的设计对 11 个合成生成器分别、多生成器混合、真实-合成混合以及一个真实参考语料，从零训练两种 TSFM 架构，然后在共享基准上零样本评估所有模型。

### 2.1 合成和真实语料

我们从 11 个时间序列生成器（参见附录 C (https://arxiv.org/html/2606.09912#A3)）构建合成语料，总计产生 112 亿个时间点。每个生成器特定语料包含 100 万个长度为 1024 的单变量窗口。生成器池涵盖了诸如 ARIMA 和 ETS 的线性统计模型 [Box and Jenkins, 1970 (https://arxiv.org/html/2606.09912#bib.bib12); Hyndman et al., 2008 (https://arxiv.org/html/2606.09912#bib.bib15)]，包括 fBm、SDE 和 GARCH 类波动率模型在内的随机过程族 [Mandelbrot and Van Ness, 1968 (https://arxiv.org/html/2606.09912#bib.bib14); Uhlenbeck and Ornstein, 1930 (https://arxiv.org/html/2606.09912#bib.bib7); Gillespie, 1996 (https://arxiv.org/html/2606.09912#bib.bib9); Bollerslev, 1986 (https://arxiv.org/html/2606.09912#bib.bib3)]，确定性混沌系统 [Lorenz, 1963 (https://arxiv.org/html/2606.09912#bib.bib16); Mackey and Glass, 1977 (https://arxiv.org/html/2606.09912#bib.bib17)]，通过 TimeSynth [Maat et al., 2017 (https://arxiv.org/html/2606.09912#bib.bib10)] 进行的复合信号生成，趋势-季节性-不规则性分解 [Bahrpeyma et al., 2021 (https://arxiv.org/html/2606.09912#bib.bib11)]，受 StepFunction 和 Waveform 族 [Moroshan et al., 2025 (https://arxiv.org/html/2606.09912#bib.bib6)] 启发的结构性和非光滑周期生成器，以及基于高斯过程的 KernelSynth 生成器 [Ansari et al., 2024 (https://arxiv.org/html/2606.09912#bib.bib1); Rasmussen and Williams, 2006 (https://arxiv.org/html/2606.09912#bib.bib2)]。完整的生成器描述和超参数分布请参见附录 A (https://arxiv.org/html/2606.09912#A1)。

对于真实数据，我们从 GIFT-Eval 预训练数据集 [Aksu et al., 2024 (https://arxiv.org/html/2606.09912#bib.bib22)] 构建一个参考语料，该数据集与下游 GIFT-Eval 基准保持一致，同时避免训练-测试泄露。由于可用的长上下文真实序列在不同领域间分布不均，该参考语料受可用性限制而非均匀平衡。我们采样 100 万个长度为 1024 的单变量窗口，尽可能按频率和领域进行分层。为减少大来源的主导地位，我们为可行的分层设置了最小分配和每个数据集的上限。我们排除了长度小于 1024 的序列。完整的采样细节参见附录 D (https://arxiv.org/html/2606.09912#A4)。

我们在所有 11 个单生成器语料、所有 11 个生成器的等权混合（Mixed11）、真实参考语料以及将真实参考与 Mixed11 按真实-合成窗口数比例 75-25、50-50 和 25-75 组合的真实-合成混合语料上进行训练。所有训练语料都匹配为 100 万个长度为 1024 的窗口。附录 C (https://arxiv.org/html/2606.09912#A3) 提供了完整的语料清单。

### 2.2 模型和评估

我们在匹配的训练预算下，从零在每个语料上训练 Chronos-T5-Mini [Ansari et al., 2024 (https://arxiv.org/html/2606.09912#bib.bib1)] 和 Moirai-Small [Woo et al., 2024 (https://arxiv.org/html/2606.09912#bib.bib27)]。完整的训练配置在附录 E (https://arxiv.org/html/2606.09912#A5) 中。

我们在包含 28 个数据集的 GIFT-Eval 基准上零样本评估所有模型。由于许多数据集在多个预测区间上进行评估，配对自助法比较使用数据集-区间任务作为重采样单元，产生 97 个任务级观测。我们报告归一化 CRPS [Gneiting and Raftery, 2007 (https://arxiv.org/html/2606.09912#bib.bib29)]（一种概率预测误差）和归一化 MASE [Hyndman and Koehler, 2006 (https://arxiv.org/html/2606.09912#bib.bib30)]（一种无尺度点预测误差）。两者均相对于季节性朴素基线进行归一化，因此值越低越好，低于 1 表示优于该基线。

## 3 结果

我们围绕三个问题组织结果。首先，在固定训练预算下，合成生成器的选择有多重要？其次，一个简单的多生成器混合能否作为选择单个生成器的稳健替代方案？第三，当有真实数据可用时，添加合成数据是否有帮助，还是仅仅稀释了真实语料？对于两种架构，答案都是语料组成对零样本预测性能具有一阶效应。

### 3.1 单生成器语料

一个自然的初步策略是确定一个强大的合成生成器并基于它进行预训练。为了评估这一策略，我们在相同的语料大小和训练预算下，对每个合成生成器分别训练每种架构。表 1 (https://arxiv.org/html/2606.09912#S3.T1) 报告了由此产生的零样本性能，以及作为锚点的真实参考语料。

表 1：GIFT-Eval 零样本性能。分数是 97 个评估任务的几何平均值。值越低越好；低于 1.000 表示优于季节性朴素基线。**粗体**表示每个模型和指标的最佳单生成器语料。下划线：每个模型第二最佳（Moirai-Small 为 ETS；Chronos-T5-Mini 为 SDE）。按 Moirai-Small CRPS 排序。
| 生成器 | Moirai-Small CRPS | Moirai-Small MASE | Chronos-T5-Mini CRPS | Chronos-T5-Mini MASE |
| :--- | :--- | :--- | :--- | :--- |
| KernelSynth | 0.734 | 1.049 | 0.936 | 1.290 |
| ETS | 0.820 | 1.154 | 1.976 | 2.694 |
| Waveform | 0.870 | 1.240 | 1.328 | 1.841 |
| SDE | 0.910 | 1.306 | 0.981 | 1.282 |
| StepFunction | 0.958 | 1.391 | 1.048 | 1.359 |
| TSI | 0.969 | 1.369 | 1.195 | 1.679 |
| ARIMA | 0.988 | 1.430 | 1.128 | 1.916 |
| fBm | 1.036 | 1.419 | 1.681 | 2.495 |
| GARCH | 1.055 | 1.466 | 1.108 | 1.863 |
| Chaotic | 1.154 | 1.636 | 1.842 | 2.867 |
| TimeSynth | 1.194 | 1.659 | 1.153 | 1.884 |
| 真实参考 | 0.814 | 1.149 | 0.791 | 1.061 |

在相同的训练预算下，生成器的选择具有显著影响：对于 Moirai-Small，CRPS 在各生成器之间变化了 1.6 倍，对于 Chronos-T5-Mini 则为 2.1 倍。排名也不能在架构或指标间干净地迁移。对于两种架构，KernelSynth 是 CRPS 最强的生成器，但对于 Chronos-T5-Mini，SDE 给出了最佳的合成 MASE。更引人注目的是，对于 Moirai-Small，ETS 是 CRPS 第二佳的生成器，但对于 Chronos-T5-Mini，它却是最弱的生成器。这些结果表明，单生成器选择是一个依赖于模型的决策，而非可普遍迁移的配方。

### 3.2 多生成器混合

单生成器扫描显示生成器排名可能依赖于目标架构。这引出一个实际问题：我们是否可以通过混合多样化的生成器，而不是选择一个生成器，来获得一个更稳健的合成预训练语料？我们用 Mixed11 来测试这一点，Mixed11 是所有 11 个生成器族的等权混合。表 2 (https://arxiv.org/html/2606.09912#S3.T2) 将 Mixed11 与上一节中确定的最强单生成器基线进行了比较。

表 2：Mixed11 与每种架构的最强单生成器基线比较。分数是 97 个评估任务的几何平均值。值越低越好。
| 模型 | 条件 | CRPS | MASE |
| :--- | :--- | :--- | :--- |
| Moirai-Small | KernelSynth | 0.734 | 1.049 |
| | ETS | 0.820 | 1.154 |
| | Mixed11 | 0.735 | 1.069 |
| Chronos-T5-Mini | KernelSynth | 0.936 | 1.290 |
| | SDE | 0.981 | 1.282 |
| | Mixed11 | 0.906 | 1.171 |

对于 Moirai-Small，Mixed11 在 CRPS 上与 KernelSynth 基本持平，并且明显领先于次佳生成器 ETS。对于 Chronos-T5-Mini，收益更显著：Mixed11 在 CRPS 上优于 KernelSynth 和 SDE，并且在显示的合成语料中也给出了最佳 MASE。因此，混合并非简单地将强大生成器中的有用结构平均掉。相反，它提供了一个稳健的纯合成语料，与扫描中观察到的最佳单个生成器相比具有竞争力，在某些情况下甚至更好。

为验证这一比较并非仅由微小的总体差异驱动，我们分离出了 KernelSynth 和 Mixed11 之间的配对自助法比较。这是纯合成设置中最直接的比较，因为在 seed-42 扫描中，KernelSynth 是按 CRPS 衡量的最强单生成器基线，而 Mixed11 则测试组合生成器能否保持或改善最佳单个来源。完整的单生成器和组合自助法结果在附录 G (https://arxiv.org/html/2606.09912#A7) 中报告。

表 3：Seed-42 下 KernelSynth 与 Mixed11 的配对自助法比较。报告了 KernelSynth 相对于 Mixed11 的相对增量；负值表示 KernelSynth 误差更低，正值表示 Mixed11 误差更低。
| 模型 | 指标 | 统计量 | 值 |
| :--- | :--- | :--- | :--- |
| Moirai-Small | CRPS | 相对 Δ | -0.2% |
| | | 95% CI | [-3.7%, 3.3%] |
| | | 胜率 | 0.48 |
| | MASE | 相对 Δ | -1.9% |
| | | 95% CI | [-5.5%, 1.4%] |
| | | 胜率 | 0.47 |
| Chronos-T5-Mini | CRPS | 相对 Δ | 3.3% |
| | | 95% CI | [-1.2%, 8.2%] |
| | | 胜率 | 0.42 |
| | MASE | 相对 Δ | 10.2% |
| | | 95% CI | [5.5%, 15.2%] |
| | | 胜率 | 0.34 |

对于 Moirai-Small，KernelSynth 和 Mixed11 基本上持平：CRPS 和 MASE 的置信区间都包含零。对于 Chronos-T5-Mini，Mixed11 更强，尤其是在 MASE 上，其置信区间完全位于零以上，有利于 Mixed11。这支持了更广泛的结论，即多生成器混合可以保留强单个生成器的优势，同时提高跨模型族系的鲁棒性。

### 3.3 真实-合成组成

Mixed11 提供了一个强大的纯合成默认方案，但在实际预训练环境中，合成数据很少孤立考虑。更相关的问题是，合成数据能否补充现有的真实语料，还是仅仅稀释有用的真实世界结构。因此，我们将真实参考语料与 Mixed11 按三种窗口比例混合。对于每种混合，我们在相同的固定语料上训练三个独立的模型初始化，因此报告的变异反映了模型级别的随机性，而非语料重新采样。表 4 (https://arxiv.org/html/2606.09912#S3.T4) 报告了由此产生的零样本性能。

表 4：GIFT-Eval 上的真实-合成混合性能。分数是评估数据集的几何平均值，报告为三个模型初始化的均值 ± 标准差。**真实参考**和**Mixed11** 是纯源端点；中间行给出了真实-合成窗口比例。值越低越好；低于 1.000 表示优于季节性朴素基线。**粗体**表示每个模型的最低平均 CRPS。
| 模型 | R-S 比例 | CRPS ↓ | MASE ↓ |
| :--- | :--- | :--- | :--- |
| Moirai-Small | 真实参考 | 0.830 ± 0.014 | 1.172 ± 0.021 |
| | 75-25 | **0.685 ± 0.015** | **0.984 ± 0.023** |
| | 50-50 | 0.710 ± 0.015 | 1.012 ± 0.023 |
| | 25-75 | 0.775 ± 0.012 | 1.100 ± 0.021 |
| | Mixed11 | 0.733 ± 0. |