synthetic-pretraining

Timestral 是一个包含四个时间序列基础模型（参数量从 500 万到 2.09 亿）的模型家族，通过解耦预测时域、原生支持未来协变量，以及先进行合成数据预训练再进行混合后训练，在 GIFT-Eval、TIME 和 fev-bench 上实现了最先进的概率预测性能。

本文提出使用 O'PRIOR 任务生成器进行受控的合成预训练，使表格基础模型的训练数据归因在实验上可验证。研究表明，移除贡献度最高的任务会可测量地导致留出集性能下降，同时揭示了来源关联性与干预忠实性可能会出现背离。