TimesFM-3：一种用于多变量预测的零样本基础模型

# TimesFM-3：用于多元预测的零样本基础模型 来源：https://research.google/blog/timesfm-3-a-zero-shot-foundation-model-for-multivariate-forecasting/ 我们推出 TimesFM-3，这是一个最先进的时间序列基础模型，能在单次前向传播中实现高精度多元时间序列预测，在各大基准测试中显著优于其他预测模型。 自2024年 TimesFM (https://research.google/blog/a-decoder-only-foundation-model-for-time-series-forecasting/) 首次亮相以来，我们看到时间序列基础模型已在零售、金融、可观测性、制造、医疗健康和自然科学等多个领域应用于现实世界的时间序列预测任务 (https://icml-structured-fm-workshop.github.io/)。 直至2025年9月发布的 TimesFM-2.5 (https://huggingface.co/google/timesfm-2.5-200m-pytorch)，我们的模型都严格限于单变量预测：仅使用单个时间序列的历史数据进行预测。然而，大多数现实世界的预测问题本质上是多元的：多个时间序列和辅助外部特征共同影响着某个时间序列未来的预测值。以预测某零售连锁店的冰淇淋销售额为例。仅凭过往销售数据很少能反映全貌。一个好的预测还应参考相关产品（如冰淇淋筒、糖浆）的销售情况、历史客流量，以及已知的未来事件，如天气预报、促销活动和节假日。 今天，我们推出 TimesFM-3 (https://huggingface.co/google/timesfm-3.0-pytorch)，这是我们时间序列基础模型的下一代产品，它原生地针对多元预测进行预训练。TimesFM-3 拥有3.3亿参数，在一个包含超过1万亿时间点的真实及合成时间序列语料库上进行了预训练。基于前代模型的高效性和零样本泛化能力，TimesFM-3 以零样本方式增加了对复杂多元场景的稳健支持。它可以联合预测多个共同演化的时间序列，捕获能提升整体准确性的依赖关系，而无需任务特定的微调。该模型原生支持： - *多目标：* 同时预测多个相关时间序列（例如，联合预测不同品牌的冰淇淋销售额）。该模型支持对所有目标进行点预测和分位数预测。 - *历史协变量：* 整合仅历史已知的特征（例如，历史客流量）。 - *历史-未来（动态）协变量：* 利用已知的未来事件来指导预测（例如，计划的促销活动或天气预报）。 ## 内部机制：架构与推理 TimesFM-3 建立在其前代模型已验证的纯解码器 Transformer 架构 (https://research.google/blog/transformer-a-novel-neural-network-architecture-for-language-understanding/) 之上。与之前的版本类似，我们通过将连续数据点分组成32个时间步长的片段来高效处理时间序列。然后，我们对每个时间序列进行类似 TimesFM-2.5 (https://github.com/google-research/timesfm/blob/master/src/timesfm/flax/util.py#L43) 的归一化处理，以应对尺度差异巨大的时间序列。 ### 多元 Token 构建 对于目标和历史协变量序列，token 直接从单个片段构建。然而，对于历史-未来协变量，TimesFM-3 采用了巧妙的“前瞻”策略：每个 token 将当前片段与未来片段连接起来，使模型能够“窥视”即将出现的已知信号。 ### 交替注意力架构 片段被标记化后，经过一个输入残差块，进入主 Transformer 堆栈，该堆栈作为二维网格运行： 1. *因果时间注意力：* token 水平跨时间关注。为防止数据泄露，这种注意力严格是因果的——一个 token 只能关注其*自身*特定时间序列中的过去 token。 2. *全变量注意力：* token 垂直跨序列关注。在任何给定的时间步，一个 token 可以关注数据集中的所有其他时间序列，使模型能够学习复杂的跨序列相关性（例如，一个序列中的促销活动如何影响另一个序列的销售）。 这两种注意力机制交替进行若干层，无缝地将时间模式与跨序列关系融合在一起。 ### 非自回归解码：单次前向传播完成预测 早期版本的 TimesFM 逐个片段生成预测，这引入了延迟、累积误差以及计算成本。TimesFM-3 使用了“连续片段掩码”策略 (https://arxiv.org/abs/2505.23719)，在单次前向传播中生成整个预测范围。模型在观测上下文后附加掩码占位符 token，代表未来的预测范围。由于目标和历史协变量序列在预测范围内的未来值未知，它们被掩码，而历史-未来协变量保持可见，为模型提供如节假日或预定事件等已知的未来信号。通过交替的注意力层，模型同时填充所有被掩码的预测范围片段，无需迭代循环。模型为每个目标时间序列在每个预测步骤预测9个分位数（从第10百分位到第90百分位），提供预测不确定性的完整概率视图。 ## 多元预测示例 让我们回顾冰淇淋销售的例子。假设你正在制定下个月的促销日程，想要预测销售情况以做好准备。一个标准的单变量模型（下图中红线）查看历史销售数据，并将周模式向前投影——但它对特定日期的计划促销一无所知。TimesFM-3 的多元模式（下图中蓝线）则采取不同的方法：通过将计划的促销日程作为历史-未来协变量输入，模型从历史上下文中学习促销与销售增长之间的关系，然后将这些知识应用到有计划促销的未来日期。结果是一个预测，预期在每个促销日都有约20%的销售增长。在下图中，促销协变量中的琥珀色块标示了哪些天有促销活动——蓝色的预测线明显对每个促销日都有反应，而红色的预测线则没有。在整个月里，这汇总为更准确的预期收入预测。 ## 评估与基准测试 我们在三个全面的公开预测基准测试上评估了 TimesFM-3：Gift-Eval (https://huggingface.co/spaces/Salesforce/GIFT-Eval)、FEV-Bench (https://huggingface.co/spaces/autogluon/fev-bench) 和 Time (https://huggingface.co/spaces/Real-TSF/TIME-leaderboard)。在所有三个基准测试中，就点预测和概率预测指标而言，TimesFM-3 在所有预训练基础模型中均排名第一。下图展示了在这三个基准测试中，点预测准确性和概率预测质量（越低越好）的任务平均排名。我们与最近的基础模型进行了比较，包括具有多元能力的模型，如 Chronos-2 和 Toto 2.0 系列，以及我们之前的模型 TimesFM-2.5。 每个图表中 TimesFM-3 都有两个条目。“单变量模式”点显示模型在不使用任何协变量或跨序列信息、独立处理每个目标序列（就像传统的单变量模型一样）进行评估时的性能。即使在这种单变量模式下，TimesFM-3 已经匹配或优于其他竞争模型。当我们切换到完整的多元模式时，TimesFM-3 又向前迈进了一大步，在点预测和概率预测方面都取得了最佳平均排名。 ## 结论 我们推出 TimesFM-3，这是我们 TimesFM 零样本时间序列基础模型家族的最新一代产品，在多个公开基准测试中获得了最先进的多元和单变量预测性能。TimesFM-3 现已在 GitHub (https://github.com/google-research/timesfm) 和 Hugging Face (https://huggingface.co/google/timesfm-3.0-pytorch) 上提供，其与 BigQuery 的集成将在未来几周内推出。与此同时，您可以立即在单变量任务上尝试使用 TimesFM-2.5，以熟悉 BigQuery 中的 AI.FORECAST (https://docs.cloud.google.com/bigquery/docs/reference/standard-sql/bigqueryml-syntax-ai-forecast) 命令——无需机器学习专业知识。 ## 致谢 *本项目是与 Yichen Zhou、Petros Mol、Abhimanyu Das 和 Samet Oymak 共同完成的。*