Toto 2.0：时间序列预测进入规模化时代（13分钟阅读）

# Toto 2.0：时间序列预测进入规模扩展时代 来源：https://www.datadoghq.com/blog/ai/toto-2/ 今天，我们在 Hugging Face (https://huggingface.co/collections/Datadog/toto-20) 上发布 Toto 2 (https://github.com/DataDog/toto) 系列，这是一族开放权重的时间序列预测模型。Toto 2.0 的参数量从 4m 到 2.5B，旨在回答一个简单而开放的问题：时间序列基础模型（TSFMs）能否随着规模扩大而改进？我们的结果表明，答案是肯定的。亮点如下： - **有效的规模扩展。** 每个更大的模型都比前一个有所提升，在 2.5B 参数处未见饱和迹象。 - **在所有测试基准上均表现最佳。** Toto 2.0 在 BOOM (https://huggingface.co/spaces/Datadog/BOOM)（Datadog 的可观测性预测基准）、GIFT-Eval (https://huggingface.co/spaces/Salesforce/GIFT-Eval)（通用标准基准）和 TIME (https://huggingface.co/spaces/Real-TSF/TIME-leaderboard)（新的抗污染零样本基准）上均占据榜首。 - **相较 Toto 1.0 (https://www.datadoghq.com/blog/ai/toto-boom-unleashed/) 的代际跃升。** 在达到相同质量时，Toto 2.0 的参数效率提高了 7 倍，推理速度也显著加快。 - **基于可观测性与合成数据训练，广泛泛化。** Toto 2.0 在预训练阶段未接触任何公开预测数据，却在通用基准上领先业界。 在 BOOM（左）和 GIFT-Eval（右）上，顶级基础模型的 CRPS 排名与参数数量对比；数值越低越好。帕累托前沿描绘了在每个参数预算下可达到的最佳 CRPS 排名——位于或接近该前沿的点代表了最佳的质量-规模权衡。每个 Toto 2.0 大小在两个基准上都位于或接近前沿，并且 CRPS 排名随着模型尺寸的增大而单调提升。两幅图表展示了 BOOM（左）和 GIFT-Eval（右）上 CRPS 排名与参数数量的关系，其中数值越低越好。Toto 2.0 模型位于或靠近帕累托前沿，性能随模型尺寸增加而提升。在 BOOM（左）和 GIFT-Eval（右）上，顶级基础模型的 CRPS 排名与参数数量对比；数值越低越好。帕累托前沿描绘了在每个参数预算下可达到的最佳 CRPS 排名——位于或接近该前沿的点代表了最佳的质量-规模权衡。每个 Toto 2.0 大小在两个基准上都位于或接近前沿，并且 CRPS 排名随着模型尺寸的增大而单调提升。 本文首先介绍结果与规模扩展行为 (https://www.datadoghq.com/blog/ai/toto-2/#results)，包括推理延迟改进和长时域稳定性。然后详细讨论我们认为 TSFMs 的下一个瓶颈与机遇所在 (https://www.datadoghq.com/blog/ai/toto-2/#whats-next-for-tsfms)：缩小与经典基线在长时域的差距、数据整理、追踪下游价值的评估方法，以及多模态。我们很快将发布一份技术报告，详细介绍训练数据、架构与训练方案，以及使用 u-μP 超参数迁移管道（在小型代理模型上一次调参后即可迁移至更大模型）。 Toto 2.0 模型权重 (https://huggingface.co/collections/Datadog/toto-20) 以及我们用于分布式 u-μP 训练的基础设施库（dd_unit_scaling (https://github.com/DataDog/toto/tree/main/dd_unit_scaling)）均在 Apache 2.0 许可下开放。 ## 结果 (https://www.datadoghq.com/blog/ai/toto-2/#results) Toto 2.0 在 BOOM (https://huggingface.co/spaces/Datadog/BOOM)、GIFT-Eval (https://huggingface.co/spaces/Salesforce/GIFT-Eval) 和 TIME (https://huggingface.co/spaces/Real-TSF/TIME-leaderboard) 上均取得了新的最优结果。在 BOOM 上，每个大小的模型都位于帕累托前沿上。在 GIFT-Eval 的基础模型中，三个最大的 Toto 2.0 尺寸领先。在包含微调模型、集成系统与智能体系统的更全面排行榜上，我们微调的 2.5B（FT）和“Toto 2.0 Family and Friends”（FnF）集成模型直接占据前两名。在 TIME 上，三个最大的 Toto 2.0 变体位列前茅。 所有基准都报告了多项指标的结果。CRPS（连续排名概率分数）衡量概率预测的质量，评估预测的未来值分布与实际观测结果的匹配程度，是与生产预测用例最直接相关的指标。MASE（平均绝对缩放误差）衡量点预测精度，基于基准季节性基线进行归一化。当指标以排名形式报告时，分数在所有基准数据集上取平均，以便在不同数据间进行比较。 ### BOOM (https://www.datadoghq.com/blog/ai/toto-2/#boom) BOOM 评估在可观测性指标（如 CPU、内存、请求延迟和错误率）上的预测表现，这些正是生产监控系统关注的信号。 BOOM 在 CRPS 排名、CRPS 和 MASE 上的结果；数值越低越好。所有五个 Toto 2.0 尺寸在每项指标上都超越了其他所有基础模型。Toto 2.0 22m 在参数数量减少约 7 倍的情况下，在三项指标上均达到或超过 Toto 1.0。Toto 模型以紫色标出。图表展示了 BOOM 基准在 CRPS 排名、CRPS 和 MASE 上的结果（数值越低越好）。所有 Toto 2.0 模型尺寸（以紫色标出）均优于其他基础模型，且性能随模型尺寸增大而持续提升。BOOM 在 CRPS 排名、CRPS 和 MASE 上的结果；数值越低越好。所有五个 Toto 2.0 尺寸在每项指标上都超越了其他所有基础模型。Toto 2.0 22m 在参数数量减少约 7 倍的情况下，在三项指标上均达到或超过 Toto 1.0。Toto 模型以紫色标出。 每个 Toto 2.0 尺寸都位于 BOOM 的帕累托前沿上：在任意给定的参数数量下，没有其他基础模型能产生更好的预测。三个最大的尺寸领跑排行榜，CRPS 排名分别为 3.88（2.5B）、3.96（1B）和 4.25（313m）。在其后，22m 的 5.52 已经超过了 Toto 1.0（6.94），实现了相比上一代 7 倍的参数效率提升。4m 为 7.17，与 Toto 1.0 和 Chronos-2（7.39）相当，尽管尺寸小 30–40 倍，是边缘部署的强力候选。 ### GIFT-Eval：基础模型 (https://www.datadoghq.com/blog/ai/toto-2/#gift-eval-foundation-models) GIFT-Eval 是一个通用预测基准，涵盖能源、零售、天气、金融等领域的 97 个数据集。值得注意的是，Toto 2.0 基础模型并未接受过来自这些领域的任何公开数据训练。 GIFT-Eval 结果（仅筛选基础模型，即排除微调、集成和智能体系统），在 CRPS 排名、MASE 排名、CRPS 和 MASE 上的表现；数值越低越好。Toto 2.0 尺寸以紫色标出。三个最大的 Toto 2.0 尺寸在 CRPS 排名上领先，而 2.5B 在 MASE 排名上领先。图表展示了 GIFT-Eval 基准中基础模型在 CRPS 排名、MASE 排名、CRPS 和 MASE 上的结果（数值越低越好）。Toto 2.0 模型（以紫色标出）优于其他基础模型，最大模型获得最佳排名。GIFT-Eval 结果（仅筛选基础模型，即排除微调、集成和智能体系统），在 CRPS 排名、MASE 排名、CRPS 和 MASE 上的表现；数值越低越好。Toto 2.0 尺寸以紫色标出。三个最大的 Toto 2.0 尺寸在 CRPS 排名上领先，而 2.5B 在 MASE 排名上领先。 Toto 2.0 在基础模型中排名第一。三个最大尺寸的 CRPS 排名分别为 19.5（2.5B）、20.3（1B）和 20.5（313m），313m 与次优基础模型 PatchTST-FM r1 [^8]（22.1）之间有 1.6 分的差距。强力竞争对手 Chronos-2 为 22.4。22m 为 25.7，比 Toto 1.0（33.9）高出 8 分。在排名指标上，每个尺寸都严格优于其下更小的尺寸。 ### GIFT-Eval：微调模型 (https://www.datadoghq.com/blog/ai/toto-2/#gift-eval-finetuned-models) 除了预训练基础模型外，GIFT-Eval 排行榜还包括微调基础模型（那些在基准官方训练集上调整过的模型），以及结合多个基础模型的智能体与集成方法。五个 Toto 2.0 基础模型是我们微调模型的起点。为了探究 Toto 基础模型在下游任务上微调的难易程度，我们探索了两种利用分布内数据的方法：在包含 GIFT-Eval 训练集的混合数据上微调单个模型，以及使用基于窗口的学习加权方案集成多个模型。两种方法均位列排行榜前列，其中集成与微调在 CRPS 和 MASE 排名上分别获得第一和第二。 GIFT-Eval 排行榜，展示所有提交类型：基础模型、微调模型、集成模型和智能体系统。在此排行榜上，“微调”是泛指任何使用了 GIFT-Eval 训练集的模型，包括集成和智能体系统。Toto 2.0 尺寸以紫色标出，微调模型以粉色轮廓标出。Toto 2.0 FnF 在 CRPS 排名、MASE 排名、CRPS 和 MASE 上均位列第一；仅 Toto 2.0 2.5B-FT 就排名第二，领先于所有之前的排行榜条目。排行榜图表展示了 GIFT-Eval 上基础、微调、集成和智能体模型的结果。Toto 2.0 模型（以紫色标出）总体排名最高，其中 Toto 2.0 FnF 集成模型位列第一，2.5B 微调模型位列第二。GIFT-Eval 排行榜，展示所有提交类型：基础模型、微调模型、集成模型和智能体系统。在此排行榜上，“微调”是泛指任何使用了 GIFT-Eval 训练集的模型，包括集成和智能体系统。Toto 2.0 尺寸以紫色标出，微调模型以粉色轮廓标出。Toto 2.0 FnF 在 CRPS 排名、MASE 排名、CRPS 和 MASE 上均位列第一；仅 Toto 2.0 2.5B-FT 就排名第二，领先于所有之前的排行榜条目。 集成模型在 GIFT-Eval 排行榜上位居第一，领先于微调的 2.5B。但更有趣的发现是集成模型的内部机制。元学习器的 softmax 权重揭示了每个候选模型对预测的实际贡献大小。Toto 2.0 系列是集成模型的最大贡献者，平均占预测的 39%——高于池中任何其他模型，包括 Chronos 2（32%），并且超过其他四个开放模型的总和。这一组合中近 40% 的预测始终经由 Toto 路由，这证明了 Toto 在捕捉池中其他模型无法捕捉的模式方面具有独特作用。换句话说：当元学习器可以自由地加权其拥有的所有模型时，它在 Toto 系列上的投入超过任何其他来源。 ### TIME (https://www.datadoghq.com/blog/ai/toto-2/#time) TIME 是一个最新的、以任务为中心的零样本预测基准，由“新鲜”数据集构建而成，这些数据集特意选择以减轻已有基准面临的测试集污染问题。Toto 2.0 横扫排行榜：2.5B、313m 和 1B 在 TIME 的每项指标上占据前三，而外部最佳基础模型与 1B 之间存在明显差距。22m 在排名指标上排名第五，领先于我们测试的所有前代基础模型，并且从 22m 开始的每个尺寸都优于 Toto 1.0。 TIME 在 CRPS 排名、MASE 排名、CRPS 和 MASE 上的结果；数值越低越好。Toto 2.0 尺寸以紫色标出。2.5B 是每项指标上表现最佳的 Toto 2.0 尺寸；唯一偏离严格单调性的是 313m，它略微优于 1B。图表展示了 TIME 基准在 CRPS 排名、MASE 排名、CRPS 和 MASE 上的结果（数值越低越好）。Toto 2.0 模型（以紫色标出）取得了最佳结果，其中 2.5B 总体表现最好，较大模型通常优于较小模型。TIME 在 CRPS 排名、MASE 排名、CRPS 和 MASE 上的结果；数值越低越好。Toto 2.0 尺寸以紫色标出。2.5B 是每项指标上表现最佳的 Toto 2.0 尺寸；唯一偏离严格单调性的是 313m，它略微优于 1B。 ### 推理延迟 (https://www.datadoghq.com/blog/ai/toto-2/#inference-latency) Toto 2.0 包含对 Toto 1.0 骨干的一系列改进，包括连续分块掩码（CPM），它允许模型一步并行预测整个预报序列，而不是逐步进行。CPM 不仅提高了预测质量，还使 Toto 2.0 速度大幅提升。对于 1024 步的预测，Toto 1.0 需要多达 16 步的自回归；而 Toto 2.0 在单次通过模式下只需一次前向传播。 我们评估了前向传播延迟，并与 Toto 1.0 以及此前在 GIFT-Eval 上达到 SOTA 的 Chronos-2 进行了比较。在此预测长度下，每个 Toto 2.0 尺寸都比 Toto 1.0 快得多。我们的 313m 模型延迟与 120m 参数的 Chronos-2 大致相当。在预测长度 2048 及以上时，即使是 2.5B 在单次通过模式下也比 Chronos-2 更快。 左图：预测长度为 1024 时，前向传播延迟与参数数量的关系。每个 Toto 2.0 尺寸都比 Toto 1.0 快得多。右图：前向传播延迟与预测长度（对数刻度）的关系。在预测长度达到 768 点之前，Toto 2.0 在单次通过模式下保持平坦（我们发现在合成信号上该长度表现最佳）。两幅图表展示了 Toto 2.0 与 Toto 1.0 及 Chronos-2 的前向传播延迟对比。左图：1024 步预测下的延迟与参数数量关系，所有 Toto 2.0 模型均比 Toto 1.0 快。右图：延迟与预测长度（对数刻度）关系，Toto 2.0 在单次通过模式下保持平坦。左图：预测长度为 1024 时，前向传播延迟与参数数量的关系。每个 Toto 2.0 尺寸都比 Toto 1.0 快得多。右图：前向传播延迟与预测长度（对数刻度）的关系。在预测长度达到 768 点之前，Toto 2.0 在单次通过模式下保持平坦（我们发现在合成信号上该长度表现最佳）。 两种解码模式——单次通过与分块解码——在速度与长时域稳定性之间进行权衡。单次通过模式在一次前向传播中处理整个预测长度，我们将其用于排行榜提交。分块解码则分段生成预测长度，每个分段以前一分段的中位数为条件，并利用 KV 缓存提高效率。速度较慢，但能减少长时域上的漂移。CPM 训练机制同时支持这两种模式，因此同一个检查点在推理时可用于任意一种模式。 ### 长时域稳定性 (https://www.datadoghq.com/blog/ai/toto-2/#long-horizon-stability) 在 BOOM、GIFT-Eval 和 TIME 等基准上的预测质量反映了模型在其训练上下文内部或附近的表现。但基础模型在该上下文之外的泛化行为并不总是一致。为了了解 Toto 2.0 在需要预测远超出其训练范围时的表现，我们评估了所有五个尺寸在合成多尺度信号上的表现，预测长度分别为 2,048、4,096 和 8,192 个时间步（远超过 Toto 2.0 使用的 4,096 步训练上下文）。 在三个预测长度下，对合成多尺度信号（叠加周期为 500、100 和 20 个时间步）的预测。每行代表一个模型，每列对应一个预测长度。较大的 Toto 2.0 尺寸在 8,192 步时仍能保持连贯的多尺度结构；较小的尺寸以及前代模型则逐渐丧失结构。每个面板中显示了与真实值的皮尔逊相关系数。Toto 2.0 的预测使用分块解码。在三个预测长度下，对合成多尺度信号的预测结果网格图。较大的 Toto 2.0 模型在更长预测长度下保持连贯模式，而较小模型及前代模型随着预测长度增加逐渐丧失结构和准确性。在三个预测长度下，对合成多尺度信号（叠加周期为 500、100 和 20 个时间步）的预测。每行代表一个模型，每列对应一个预测长度。较大的 Toto 2.0 尺寸在 8,192 步时仍能保持连贯的多尺度结构；较小的尺寸以及前代模型则逐渐丧失结构。每个面板中显示了与真实值的皮尔逊相关系数。Toto 2.0 的预测使用分块解码。