标签
论文提出 SPD-MetaFormer,一种面向小数据脑信号解码的无注意力架构,基于 SPD 流形上均匀加权的 Fréchet 聚合,并发现现有流形注意力模型(MAtt、GBWAtt)学到的权重接近均匀分布,因此简化设计即可获得有竞争力的 EEG 基准结果。
本文探讨了一种非 Transformer 的替代性语言模型架构,通过显式接口将记忆、确定性执行与上下文计算分离开来,采用无注意力的 Multi-Mesh 模型、重构式文档记忆以及带有类型化残差装配的模块化核心。作者将其定位为一个研究原型并发布了检查点,旨在邀请独立测试与讨论,而非声称其优于 Transformer。
TinyCast 是一款紧凑的零样本时间序列基础模型,具有计算周期功能,可在 Cortex-M7 等边缘设备上实现高效的概率预测。
Kathleen系列的这篇论文表明,一个约0.5M参数、无注意力机制的字节级模型在WikiText-103语言建模和生成上可以击败参数匹配的transformer;引入了一种非参数的“形式距离”(Form Distance)度量来评估文本真实感;并证明从模型自身训练语料库进行检索增强解码能提高生成质量。
CARNet将全局循环周期信息整合到高效的核心交互建模中,用于多元时间序列预测,实现了线性复杂度,并在实际基准测试中优于强大的Transformer基线模型。