LiveHouse-TS：面向时序基础模型的开放世界活态基准

# 面向时间序列基础模型的开放世界动态基准测试  
来源：https://arxiv.org/html/2608.17299  

## LiveHouse‑TS：面向时间序列基础模型的开放世界动态基准测试  
DOI：XXXXXXX.XXXXXXX（https://doi.org/XXXXXXX.XXXXXXX）  
会议：请从您的权限确认邮件中输入正确的会议标题；2018年6月3日至5日；纽约州伍德斯托克  
ISBN：978‑1‑4503‑XXXX‑X/2018/06  

Haomin Wen²,†、Ziyu Zhou¹,†、Qingxiang Liu¹,†、Siru Zhong¹,†、Yuxuan Liang¹,\*  
隶属机构：¹香港科技大学（广州）²上海创新研究院  
†等同贡献；\*通讯作者  
电子邮件：[wenhaomin.whm, zziyuzhou, [email protected]]，[[email protected], [email protected]]  
2018© ，2018  

#### 摘要  
时间序列基础模型（TSFMs）作为跨领域零样本预测的高潜力范式已崭露头角。然而，现有评估协议主要依赖于具有固定历史测试窗口的静态基准测试。虽然这些基准测试提供了有价值的基线快照，但它们仅评估固定历史条件下的平均性能，无法捕捉模型在持续演化的现实世界环境（具有季节性变化、分布偏移和意外事件）中的表现。为弥补这一差距，我们提出了LiveHouse‑TS——首个面向TSFMs的开放世界动态基准测试基础设施。通过在开放世界环境中基于真实未来数据进行预序列评估，LiveHouse‑TS将时间序列基准测试从快照精度转向连续时间有效性。我们的基础设施并非一次性排行榜，而是一个持续运行的时间序列基础设施，旨在探索对学术界至关重要的长期科学问题：模型排名能否长期保持？哪些模型在分布偏移下仍保持真正的鲁棒性？在11个领域的17个数据集上进行的广泛流式评估表明，在动态协议下静态排名会经历剧烈洗牌。  
代码、数据集和排行榜可在以下地址获取：https://huggingface.co/spaces/CityMindDev/LiveHouse-TS。  

## 1. 引言  
时间序列预测是跨越众多工业与科学领域的基础任务，涵盖能源管理、金融规划到气候建模等。受大规模预训练和零样本推理能力驱动，时间序列基础模型（TSFMs）已成为跨领域零样本预测的高潜力范式。这一范式转变引发了巨大的研究兴趣，过去两年产出了数百篇论文。与此同时，模型的快速演进催生了对可靠评估协议的需求。如图1所示，当前实践几乎完全依赖静态基准测试（如GIFT-eval、fev-bench、TSFM-Bench），其中公共数据集被分割为预定的冻结训练集和测试窗口。虽然静态排行榜为初步验证提供了受控环境，但它们引入了一个根本性限制：快照评估忽略了现实世界部署的运行实际——非平稳性、概念漂移和突发外源偏移持续改变底层数据生成过程。在静态基准测试中，获得榜首的模型将无限期保持该位置，因为标准数据集在计算后会产生永久、不可变的排名。而在现实中，两个预测模型可能在静态分割上获得完全相同的性能指标（例如平均绝对误差0.42），使其在离线评估中难以区分。然而，当置于滚动的现实时间轴时，一个模型可能在季节性偏移下迅速退化，而另一个则保持稳定可靠。  
模型的操作优势并非永久属性；随着世界变化，其性能和排名必须持续接受检验并重新赢得。  
[图注] 图1. 提出的LiveHouse‑TS与静态基准测试对比。LiveHouse‑TS引入流式评估协议，以捕捉模型在现实世界操作条件下的鲁棒性。它通过要求模型在观测到真实值之前、在当前世界时间点进行预测来消除数据泄露，并随着新数据到达持续更新评估结果和排行榜。  

表1. 代表性TSFM基准测试与LiveHouse‑TS对比。（缩写说明：LR：天然抗泄漏；RTL：实时排行榜；OND：开放至新数据；FT：预测任务；Prob.：概率预测）LiveHouse‑TS提供了首个用于评估时间序列基础模型动态性能的系统解决方案。  

| 基准测试 | 年份 | 数据集 | 评估 | 排行榜 | 实时/静态 | 领域数 | 数据集数 | LR | 零样本测试？ | FT | 多变量 | RTL | OND | 指标 |
|----------|------|--------|------|--------|-----------|--------|----------|-----|--------------|-----|--------|-----|-----|------|
| Monash | 2021 | 静态 | 7 | 20 | ✘ | ✘ | 点预测 | ✘ | ✘ | ✘ | MASE, sMAPE, msMAPE, MAE, RMSE |
| BasicTS | 2023 | 静态 | 5 | 20 | ✘ | ✘ | 点预测 | ✔ | ✘ | ✘ | MAE, RMSE, MAPE, WAPE |
| TFB | 2024 | 静态 | 10 | 41 | ✘ | ✘ | 点预测 | ✔ | ✘ | ✔ | MAE, MSE, MASE, MSMAPE |
| ProbTS | 2024 | 静态 | 6 | 12 | ✘ | ✔ | 点预测/概率预测 | ✔ | ✘ | ✘ | NMAE, CRPS |
| CiK | 2025 | 静态 | 7 | 9 | ✘ | ✔ | 概率预测 | ✘ | ✘ | ✘ | CRPS |
| GIFT-Eval | 2024 | 静态 | 7 | 23 | ✘ | ✔ | 点预测/概率预测 | ✔ | ✘ | ✘ | MAPE, CRPS |
| fev-bench | 2025 | 静态 | 7 | 96 | ✘ | ✔ | 点预测/概率预测 | ✔ | ✘ | ✔ | MASE, SQL |
| BOOM | 2025 | 静态 | 5 | – | ✘ | ✔ | 点预测/概率预测 | ✔ | ✘ | ✘ | MASE, CRPS |
| TSFM-Bench | 2025 | 静态 | 10 | 21 | ✘ | ✔ | 点预测 | ✔ | ✘ | ✘ | MAE, MSE |
| Impermanent | 2026 | 动态 | 11 | ✔ | ✔ | 点预测/概率预测 | ✔ | ✘ | ✘ | MASE, CRPS |
| TS-Arena | 2026 | 动态 | 13 | ✔ | ✔ | 点预测 | ✔ | ✔ | ✔ | MASE |
| LiveHouse-TS | 2026 | 动态 | 11 | 17 | ✔ | ✔ | 点预测/概率预测 | ✔ | ✔ | ✔ | RMSE, MAPE, CRPS, 稳定性, 改进度 |

为解决这些局限，我们提出LiveHouse‑TS——首个面向TSFMs的开放世界动态基准测试基础设施。我们将开放世界设定定义为一个时间开放系统，具备连续流式观测和可扩展注册表，以动态扩展数据源。如图1所示，LiveHouse‑TS强制执行严格的预序列评估协议：预测必须在对应真实值出现之前、于当前世界时间点完成，且指标随新观测数据到达持续更新。最终，LiveHouse‑TS将时间序列基准测试从快照精度转向连续时间有效性。我们在表1中列出了LiveHouse‑TS与当前基准测试的详细对比。  
关键的是，LiveHouse‑TS并非一次性排行榜，而被构想为一个动态时间序列基础设施，旨在激发并系统回答对社区至关重要的新科学问题。例如：模型排名能否长期保持？哪些模型在现实部署中真正稳健？  
综上，我们的核心贡献包括：  
- • 新范式：我们识别出快照范式的关键评估缺口，引入以连续时间有效性为核心的流式评估协议，以捕捉模型在现实操作条件下的鲁棒性。  
- • 新评估基础设施：我们提出LiveHouse‑TS——一个抗泄漏的开放世界动态基准测试基础设施，具备实时排行榜、可扩展的流与模型注册表，以及专门针对时间稳定性和单调性能改进的新指标。  
- • 新发现：当前TSFMs在真实未来数据的零样本预测上泛化能力良好。然而，LiveHouse‑TS上的排名与先前静态基准测试不同，表明静态基准测试上的高性能未必能直接转化为实际部署优势。  

## 2. 相关工作  
**时间序列基础模型**：TSFMs在大规模跨领域时间序列语料库上进行预训练，随后应用于未见数据集进行零样本或轻量微调。它们在分词、架构和预训练目标上存在差异，包括DeepAR、N-BEATS、N-HiTS、PatchTST、DLinear和TimesNet；后续模型包括Informer、Autoformer、FEDformer、Pyraformer、Crossformer、SCINet和TiDE。更多综述可参见相关文献。例如，TimesFM和Timer采用解码器专用设计，将时间序列建模为块；而Chronos通过缩放和量化将连续值离散化为词表，以复用语言模型骨干。相比之下，MOIRAI（掩码任意变量建模）和MOMENT（掩码多任务预训练）采用编码器式掩码预训练，而Lag‑Llama基于滞后特征生成概率预测。除建模选择外，Toto和TTM强调可观察性和轻量级部署，Time‑Moe和Moirai‑MoE通过稀疏专家混合路由扩展模型规模。同时，另一系列工作通过重编程或微调冻结语言模型进行预测。  

**时间序列预测基准测试**：早期竞赛和存档固定了比较单位，如M4和M5在大型序列集合上标准化了点预测和概率评分，Monash存档将数据集整合为统一格式，后者成为常见的预训练来源。第二波工作旨在实现公平可重复的比较，其中TFB和BasicTS控制预处理和数据集异质性，ProbTS和CiK将评估维度扩展至分布式和上下文感知预测。最近，GIFT‑Eval、TSFM‑Bench、fev‑bench和BOOM直接针对基础模型，测试其零样本能力。在所有三个浪潮中，一组精选的公共序列被冻结为预定的训练/测试划分，模型仅在保留窗口上评分一次。这种设计引入了潜在的数据泄露风险，可能无法反映模型在真实部署中的性能（如第1节所述），这促使了我们的动态和开放世界基准测试。总体而言，我们在表1中列出了与LiveHouse‑TS及相关基准的详细对比。  

**动态基准测试**：语言和代码评估领域中，越来越多的工作通过让基准测试本身“动态化”来应对数据污染——持续刷新测试数据或根据发布日期进行门控，确保每个评分样本都在模型训练之后发布。LiveBench、LiveCodeBench和多模态LiveXiv遵循这一原则，并得到分析静态基准测试在其数据泄露至预训练后为何失败的文献支持。方法论基础来自流学习文献，其中预序列评估强制预测总是在观测到相应标签之前完成，从而防止前瞻偏差，并支持在概念漂移下进行自适应性能跟踪。这种动态范式非常适合通用时间序列预测的基准测试，因为现实序列是连续生成的，为严格截止后的评估数据提供了自然供应。  

[图注] 图2. LiveHouse‑TS整体架构，类比于模型作为表演者、基准测试作为“动态舞台”。它包含三个解耦但协调的组件：OPEN i) 一个“检票入场”的**模型入口**，在异构预测器登台前进行标准化；OPEN ii) 将公共流转化为滚动预测任务集的**动态数据**（根据数据集描述，如频率、上下文长度和预测范围）；以及OPEN iii) 强制执行“仅限未来”规则并更新排行榜的**评估舞台**（动态舞台）。  

## 3. 基准测试详情  
### 3.1 任务形式化  
考虑在规则时间步观测的时间序列 $\{\mathbf{y}_t\}_{t\geq 1}$，其中 $\mathbf{y}_t \in \mathbb{R}^D$ 收集 $D$ 个目标变量。在时间 $t$，目标是基于最近 $L$ 个观测（可选协变量/元数据）预测接下来的 $H$ 个向量。在此设定中，点预测模型输出 $\hat{\mathbf{y}}_{t+1:t+H} = f\big(\mathbf{y}_{t-L+1:t}, \mathbf{x}_{t-L+1:t}, \mathbf{m}\big)$，