mistralai/Timestral-209M · Hugging Face

来源: https://huggingface.co/mistralai/Timestral-209M

Timestral 是一系列时间序列基础模型，用于零样本预测，提供 5M（https://huggingface.co/mistralai/Timestral-5M）、28M（https://huggingface.co/mistralai/Timestral-28M）、123M（https://huggingface.co/mistralai/Timestral-123M）和 209M（https://huggingface.co/mistralai/Timestral-209M）参数版本。本仓库包含 209M 的检查点。

Timestral 支持单变量和多变量预测、仅历史协变量和已知未来协变量，以及跨 21 个分位数的概率预测。它在单次前向传播中可接受最多 32,768 个历史时间步，并预测最多 1,024 个时间步。

我们在 GitHub 仓库 中发布了源代码，方便大家运行 Timestral 并复现我们的基准测试结果。

模型详情

• 参数量： 209M 参数。
• 架构： 基于 Patch 的 Transformer，采用时间注意力和变量注意力机制，共 24 层，嵌入维度为 768。
• Patch 大小： 每个 patch 包含 32 个时间步。每个 patch 由其数值及其缺失值指示器共同嵌入。
• 上下文长度： 最多 32,768 个时间步（1,024 个 patch）。
• 预测长度： 单次前向传播最多可预测 1,024 个时间步（32 个 patch）。更长的预测长度通过逐块预测实现，每个块的中位数预测将被追加到上下文中。
• 输出： 21 个分位数（0.01、0.05、0.1、0.15、…、0.85、0.9、0.95、0.99）。
• 输入： 单变量或多变量目标变量，以及仅历史协变量和已知未来协变量，支持数值型或类别型（类别型协变量采用目标编码）。缺失值标记为 NaN。
• 推理： 在 CPU 或 GPU 上使用 PyTorch 运行。

基准测试

Timestral-209M 在三个主要预测基准测试中达到了最先进的零样本精度：GIFT-Eval、TIME 和 fev-bench。

Timestral-209M 与其他模型的对比

Timestral 系列的完整结果

下方的帕累托前沿图展示了 Timestral 系列中模型大小与预测性能之间的权衡关系。

Timestral 模型的模型大小与预测性能帕累托前沿图

使用方法

安装

设置你的环境：

pip install git+https://github.com/mistralai/timestral.git   # Python >= 3.10, torch >= 2.4

或者使用 uv 从克隆仓库安装，使用 uv.lock 中锁定的版本：

git clone https://github.com/mistralai/timestral.git && cd timestral
uv sync --frozen
source .venv/bin/activate

运行模型

以下是一个使用合成数据的简单示例：

import numpy as np
import torch
from timestral import TimestralForecaster

model = TimestralForecaster.from_pretrained(
    "mistralai/Timestral-209M",
    device="cuda" if torch.cuda.is_available() else "cpu"
)

# 合成示例：一条包含 1,000 个历史观测值的时间序列。
context = np.random.default_rng(42).standard_normal(1000).cumsum()
forecast = model.forecast(context, prediction_length=96)

median = forecast.median
lower, upper = forecast.quantile(0.1), forecast.quantile(0.9)

更多详情请查看我们的 GitHub 仓库！

其他资源

• 博客文章
• GitHub 仓库
• 技术报告：即将发布！

许可证

模型以 Modified MIT 许可证发布，详情请参阅此处。

您不得以侵犯、盗用或以其他方式违反任何第三方权利（包括知识产权）的方式使用本模型。