Timestral：Mistral 的时间序列基础模型

# Timestral：Mistral 的时间序列基础模型 | Mistral Source: https://mistral.ai/news/timestral/ Timestral 是 Mistral 首个时间序列基础模型家族，仅用 209M 参数即可提供最先进的概率式多变量预测，在关键基准测试上超越更大规模的模型，同时支持历史协变量和已知未来协变量。该家族提供四种规格（5M 至 209M 参数），兼顾精度与效率，可在 CPU 上高效运行，并在多领域的零样本预测中表现出色。模型结合了合成预训练、协变量感知注意力和长上下文学习，并可通过 Mistral Forge 进行领域适配的微调。 今天，我们正式发布 Timestral，这是我们首个时间序列基础模型家族。我们最大的模型仅有 209M 参数，在该领域的三大公开基准测试——GIFT-Eval、TIME 和 fev-bench——中均排名第一，以仅为前代 SOTA 三分之二的参数量实现了超越。 Timestral 提供概率式多变量预测，支持仅历史协变量和已知未来协变量。我们的模型家族位于预测精度与模型规模的帕累托前沿，在每个规格上均提供领先性能。相关结果已提交至 GIFT-Eval 和 TIME 排行榜。 时间序列是企业中最常见的数据类型之一，涵盖从传感器遥测到可观测性指标的广泛场景。基于时间序列的预测驱动着容量规划、能源、供应链、风险和维护等领域的决策。 工业工厂根据生产计划对工艺传感器进行预测，在设备故障前捕捉异常漂移，并在数千台资产间规划产能和备件。金融团队预测资金流、交易量和波动率，为数千个账户的头寸管理、对冲和资金管理提供依据。 ARIMA 和线性回归等经典模型一直是时间序列预测的成熟工具。这些模型通常针对单个序列进行拟合，仅从该序列的历史数据中学习。 PatchTST 等深度学习模型能够学习多个相关序列中的非线性模式，但通常仍需在每个数据集上从零训练，因此其学到的模式无法迁移到新领域。 时间序列基础模型将预训练方法引入时间序列领域。在大规模多样化语料上训练后，我们的模型学到的模式可跨序列迁移，即使面对从未见过的数据也能进行零样本预测，即便在数据稀缺的领域同样有效。 ## 基准测试结果 我们在三大公开预测基准测试——GIFT-Eval、TIME 和 fev-bench——上评估了 Timestral。在预训练零样本模型中，它在全部五项指标上均排名第一。这些结果来自单一检查点，未使用集成方法。 *GIFT-Eval，83 个可比较的预训练和零样本条目中的前十名。数值越低越好。* *TIME，35 个排行榜条目中的前十名。两项指标均为数值越低越好。* *fev-bench，37 个排行榜条目中的前十名，按 SQL 技能得分排序。数值越高越好。* ## 针对每种规格优化的模型家族 Timestral 作为包含四种规格的模型家族进行了优化：5M、28M、123M 和 209M 参数。较大的模型提升预测性能，较小的模型则更快更经济。四种规格共享相同的架构和训练方案。每种规格都位于精度与模型规模的帕累托前沿：在每种参数规模下，没有公开模型的预测表现更优。 *GIFT-Eval、TIME 和 fev-bench 上的得分与模型规模对比（以 1 − 技能得分展示）。数值越低越好。我们的 28M 模型在 GIFT-Eval 和 TIME 上击败了约四倍大的 Chronos-2。我们的 209M 模型以更少的参数超越了 TimesFM-3 和 Falcon-2.0。* Timestral 推理时无需 GPU。在配备 8 线程的标准服务器 CPU 上，基于三周 15 分钟粒度的历史数据预测未来一天，5M 模型耗时 10 毫秒，209M 模型耗时 140 毫秒。较小的模型以部分精度换取速度：28M 模型比 209M 模型快五倍，123M 模型以四分之一的延迟达到与 209M 模型仅差 0.2% 的得分。 ## 一个工业应用示例 考虑一家拥有数千个设备传感器的工业工厂。Timestral 可以在多个方面改进该数据的预测效果。 **多变量预测。** 泵的振动、温度和压力并非独立变化。其中一个的上升往往可以解释或导致另一个的变化。Timestral 将相关序列联合建模，从而利用这些依赖关系，而非孤立地预测每个传感器。 **概率式预测。** 单一预测值可能无法展示全貌。Timestral 预测一整套分位数，使团队能够了解不确定性范围，设置反映不确定性的告警阈值，并围绕风险而非单一数字来规划维护。 **分类协变量。** 部分协变量的取值来自一组类别而非连续数值，例如星期几或机器状态（运行、闲置、维修中）。将其编码为数字会强加其本身不具备的顺序或尺度。Timestral 直接将其作为分类输入以改进预测。 **已知未来协变量。** 部分传感器行为的驱动因素可提前获知，如生产计划、计划停机、天气预报。Timestral 可以利用这些信息提升预测质量，使计划中的负载增长被提前预期，而非作为意外情况被标记。 **从模型到系统** Timestral 是一个数值模型，可嵌入现有的监控流水线运行，也可与我们的语言模型配合，构建多模态智能体工作流。 在工厂中，这可能表现为以下流程： 1. Timestral 持续运行在工厂的传感器数据流上，实时检测异常。 2. 当检测到某台泵的异常时，智能体对信号进行嵌入，并与历史传感器数据的嵌入进行比对，寻找相似的历史故障。 3. 随后智能体启动子智能体执行根本原因分析，调取该工厂的相关上下文，包括维修记录、值班日志和操作员笔记、设备手册、历史工单以及相关设备的读数。 4. 智能体根据分析结果起草建议诊断，附带支撑证据和可行的后续步骤。 工厂管理者获得的是有传感器数据支撑的诊断和方案，而不仅仅是一条告警。 ## 关键技术贡献 以下多项技术思想的结合产出了上述成果。每一项都将在技术报告中详细介绍。 1. **解耦预测时域（DHF）。** 采用连续块掩码训练的因果解码器（如 Toto 2.0 和 TimesFM-3）会将待预测的值掩码掉，使其看起来像缺失值，同时也丢失了作为后续预测上下文的信息。我们的 DHF 方法将两者分离：完整历史保留在序列中，学习到的预测 token 在读取其之前的历史。这样每个观测值同时充当目标和上下文，真实缺失的间隔仍被标记为缺失，训练预测时长和缺失数据增强可以独立调节。 2. **协变量感知注意力。** 每条输入序列被赋予一个角色：目标变量、仅历史协变量或已知未来协变量。已知未来协变量在整个窗口内可见，而目标保持因果性，信息仅从协变量流向目标。因此 Timestral 可以利用节假日日历或天气预报，而不会将目标自身的未来信息泄漏到预测中。 3. **合成数据优先。** 绝大部分训练数据为合成数据。我们首先生成具有连贯时间动力学的单变量过程，涵盖趋势、季节性和多样化的噪声模式。然后使用多变量合成器在这些过程之间引入非线性依赖关系，构建多变量序列。 4. **两阶段训练。** Timestral 首先在纯合成数据上以 8192 上下文长度进行大规模预训练，随后在真实数据与合成数据的混合数据上以 4 倍长的上下文进行后训练。训练目标是基于 21 个分位数的 pinball loss，即 CRPS 的离散近似。 ## 可适配的模型 公开基准测试衡量的是通用性能，但生产数据在行为和结构上可能有显著差异。随着市场状态切换、设备老化和需求模式变化，数据也可能随时间发生漂移。真正的持久价值在于能够将模型适配到领域内数据，并在分布变化时持续重新训练。 对于希望进一步深入的组织，Timestral 可通过 Mistral Forge (https://mistral.ai/products/forge/) 获取，这是我们用于语言模型的同一训练流水线。它支持： - **零样本推理**，开箱即用。 - **架构扩展**，如领域专属协变量。 - **在自有数据上微调**，在保持通用性能的同时专精于特定领域。 - **对训练数据的控制**，包括调整训练数据配比、回放预训练数据、生成反映目标领域的合成数据样本。对数据的完全掌控确保了回测过程中使用的内容在预训练阶段从未被模型见过。 整套流水线可部署在客户的硬件上，包括物理隔离环境。 ## 下一步计划 我们已发布 GitHub 仓库 (https://github.com/mistralai/timestral)，您可以在自己的数据上运行 Timestral。包含完整结果的技术报告即将发布。如需解决更专业的预测问题或开展研究合作，请与我们联系。 Timestral 类型 时间序列基础模型（TSFM） 参数量 5M、28M、123M 和 209M 上下文长度 32,768 个时间步 输出 概率式预测，21 个分位数 输入 多变量目标、仅历史协变量和已知未来协变量 部署 本地部署、VPC 或物理隔离环境 许可协议 Modified MIT