google/timesfm-3.0-pytorch · Hugging Face

来源：https://huggingface.co/google/timesfm-3.0-pytorch TimesFM (时序基础模型) 是由 Google Research 开发的用于时间序列预测的预训练时序基础模型。

本仓库包含TimesFM 3.0的官方 PyTorch 权重和配置文件。

https://huggingface.co/google/timesfm-3.0-pytorch#license许可证

本模型依据**TimesFM 非商业许可证 v1.0 (https://huggingface.co/google/timesfm-3.0-pytorch/blob/main/LICENSE)**发布。

https://huggingface.co/google/timesfm-3.0-pytorch#model-details模型详情

• 架构：采用堆叠混合Transformer（Stacked Mixing Transformer），包含变量注意力机制和CPM迭代RevIN。
• 上下文片段长度：32
• 预测范围片段长度：64
• 层数：20层Transformer（模型维度：1280，注意力头数：16）
• 分位数：（第4位为中位数）

https://huggingface.co/google/timesfm-3.0-pytorch#data数据

timesfm-3.0使用以下数据集进行预训练：

• GiftEvalPretrain（排除与fev-bench重叠的数据集）
• Wikipedia页面浏览量，截止至2023年11月（详见论文）
• Google趋势热门查询，截止至2022年底（详见论文）
• 合成数据和增强数据

https://huggingface.co/google/timesfm-3.0-pytorch#citation引用

@article{das2023decoder, title={A decoder-only foundation model for time-series forecasting}, author={Das, Abhimanyu and Kong, Weihao and Sen, Rajat and Zhou, Yichen}, journal={arXiv preprint arXiv:2310.10688}, year={2023} }