linear-rnn

TempoPFN 发表于 NeurIPS 2026，提出一个合成时间序列生成器与增强库，用于预训练线性 RNN 时间序列基础模型，实现零样本预测，并已开源代码与模型权重。

本文介绍了Complex KDA，这是对Kimi Delta Attention的增强，通过实现二维旋转和状态追踪能力，提高了线性RNN的表达能力，从而在长度外推和语言建模性能上取得了卓越表现。

Sparse Delta Memory 通过稀疏寻址扩展了门控线性RNN，显著增加了隐藏状态容量，从而在保持计算效率的同时改进了长上下文学习和检索。