attention-alternative

ASRN 自适应稀疏循环网络为语言模型引入了一种复制层，通过学习到的哈希表查找当前上下文此前出现过的内容，并重现其后续部分，内存占用随序列长度线性增长，作为全注意力机制的更廉价替代方案。

本文提出一种利用超立方体上旋转稀疏布线替代神经网络注意力的方法，在显著降低计算成本和参数量的同时，实现相当或更优的性能。

关于矩阵循环单元（MRU）的更新，这是一种线性时间复杂度的注意力机制替代方案。作者探索了稳定训练的方法，发现正交矩阵表现不佳，而LDU分解效果最佳，并表明MRU在TinyStories等较大数据集上表现不如Transformer。