attention-free

TinyCast 是一款紧凑的零样本时间序列基础模型，具有计算周期功能，可在 Cortex-M7 等边缘设备上实现高效的概率预测。

Kathleen系列的这篇论文表明，一个约0.5M参数、无注意力机制的字节级模型在WikiText-103语言建模和生成上可以击败参数匹配的transformer；引入了一种非参数的“形式距离”（Form Distance）度量来评估文本真实感；并证明从模型自身训练语料库进行检索增强解码能提高生成质量。

CARNet将全局循环周期信息整合到高效的核心交互建模中，用于多元时间序列预测，实现了线性复杂度，并在实际基准测试中优于强大的Transformer基线模型。