一个102M参数的Transformer如何预测多元时间序列？

我最近深入研究了t0-alpha的架构，这是一个1.016亿参数的时间序列预测基础模型。其中最令我感兴趣的设计选择是它将两种推理方式分离：时间注意力学习每个变量如何随时间演变；组注意力允许相关变量交换信息。架构的其他部分简要介绍如下：输入被分割成32个时间步的补丁；每个补丁被嵌入到512维表示中；模型使用24个Transformer块：16个时间注意力块和8个组注意力块；它采用时间感知的旋转位置编码、RMSNorm和SwiGLU；预测九个分位数用于概率预测；支持最大1024个时间步的上下文窗口。其在GIFT-Eval上报告的聚合CRPS为0.4941，大致与TimesFM 2.5和Chronos-2处于同一范围，尽管其只有约1.02亿参数。我撰写了一篇从基本原理出发的可视化讲解，详见：https://towardsdatascience.com/time-series-llms-explained-with-t0-alpha/ 我对两个问题很感兴趣，希望听到其他观点：将时间注意力与跨变量注意力分离是否提供了有用的归纳偏置？较小而专业的基础模型能否与更大的预测模型保持竞争力？此外，我正在进行一个等参数条件下的GIFT-Eval对比，与竞品基础模型和经典基线进行比较，并计划后续撰写相关文章。