attention-free

标签

Cards List
#attention-free

小数据脑信号解码,你需要的是 SPD-MetaFormer

arXiv cs.LG ↗ · 2026-10-09 缓存

论文提出 SPD-MetaFormer,一种面向小数据脑信号解码的无注意力架构,基于 SPD 流形上均匀加权的 Fréchet 聚合,并发现现有流形注意力模型(MAtt、GBWAtt)学到的权重接近均匀分布,因此简化设计即可获得有竞争力的 EEG 基准结果。

0 人收藏 0 人点赞
#attention-free

超越参数巨石:语言模型的重构式记忆、可执行技能与残差装配

Hugging Face Daily Papers ↗ · 2026-10-02 缓存

本文探讨了一种非 Transformer 的替代性语言模型架构,通过显式接口将记忆、确定性执行与上下文计算分离开来,采用无注意力的 Multi-Mesh 模型、重构式文档记忆以及带有类型化残差装配的模块化核心。作者将其定位为一个研究原型并发布了检查点,旨在邀请独立测试与讨论,而非声称其优于 Transformer。

0 人收藏 0 人点赞
#attention-free

TinyCast:基于计算周期的概率零样本预测

Hugging Face Daily Papers ↗ · 2026-08-16 缓存

TinyCast 是一款紧凑的零样本时间序列基础模型,具有计算周期功能,可在 Cortex-M7 等边缘设备上实现高效的概率预测。

0 人收藏 0 人点赞
#attention-free

Kathleen写作:无注意力机制的自回归生成与数据规模扩展

arXiv cs.CL ↗ · 2026-08-06 缓存

Kathleen系列的这篇论文表明,一个约0.5M参数、无注意力机制的字节级模型在WikiText-103语言建模和生成上可以击败参数匹配的transformer;引入了一种非参数的“形式距离”(Form Distance)度量来评估文本真实感;并证明从模型自身训练语料库进行检索增强解码能提高生成质量。

0 人收藏 0 人点赞
#attention-free

CARNet:面向多元时间序列预测的周期条件核心聚合与再分配

arXiv cs.LG ↗ · 2026-07-27 缓存

CARNet将全局循环周期信息整合到高效的核心交互建模中,用于多元时间序列预测,实现了线性复杂度,并在实际基准测试中优于强大的Transformer基线模型。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈