ASRN 自适应稀疏循环网络 [N]
摘要
ASRN 自适应稀疏循环网络为语言模型引入了一种复制层,通过学习到的哈希表查找当前上下文此前出现过的内容,并重现其后续部分,内存占用随序列长度线性增长,作为全注意力机制的更廉价替代方案。
一种为语言模型设计的复制层:利用学习到的哈希表找到当前上下文更早出现过的内容,并复制其后续内容——内存占用随序列长度线性增长。
相似文章
历史自我重演:释放线性注意力的长上下文能力
论文提出了 NoteBank,一种免训练的稀疏情景记忆,通过归档选定文本并通过原生计算进行重放来增强线性注意力模型,在一百万 token 下将 Gated DeltaNet 在 RULER 上的长上下文检索准确率从 1.7% 提升至 70.3%,且 FLOPs 开销可忽略不计。
Sparse Delta Memory:通过稀疏性扩展线性RNN的状态容量
Sparse Delta Memory 通过稀疏寻址扩展了门控线性RNN,显著增加了隐藏状态容量,从而在保持计算效率的同时改进了长上下文学习和检索。
RISA:用于分块扩散语言模型的可恢复稀疏注意力
RISA提出了一种面向块级扩散语言模型的可恢复稀疏注意力方法,通过共享读取计划与优先/恢复分层,在不改变骨干网络的情况下,在32K与128K上下文中分别实现最高2.67×和5.53×的注意力加速,同时保持可比的任务性能。
WriteSAE:面向循环状态的稀疏自编码器
WriteSAE 引入了第一个稀疏自编码器,能够分解状态空间模型和混合循环语言模型中的矩阵缓存写入,相比现有方法实现了更优的令牌级干预。
核岭注意力:具有选择性遗忘的非线性记忆
核岭注意力(KRA)是一种循环序列混合器,它利用递归岭回归、由协方差引导的记忆更新以及 Ornstein-Uhlenbeck 转移过程来实现选择性遗忘,从而获得固定大小的推理状态,并在语言建模性能上超越注意力模型和循环模型基线。