ASRN 自适应稀疏循环网络 [N]

Reddit r/MachineLearning 论文

摘要

ASRN 自适应稀疏循环网络为语言模型引入了一种复制层,通过学习到的哈希表查找当前上下文此前出现过的内容,并重现其后续部分,内存占用随序列长度线性增长,作为全注意力机制的更廉价替代方案。

一种为语言模型设计的复制层:利用学习到的哈希表找到当前上下文更早出现过的内容,并复制其后续内容——内存占用随序列长度线性增长。
查看原文

相似文章

历史自我重演:释放线性注意力的长上下文能力

Hugging Face Daily Papers

论文提出了 NoteBank,一种免训练的稀疏情景记忆,通过归档选定文本并通过原生计算进行重放来增强线性注意力模型,在一百万 token 下将 Gated DeltaNet 在 RULER 上的长上下文检索准确率从 1.7% 提升至 70.3%,且 FLOPs 开销可忽略不计。

RISA:用于分块扩散语言模型的可恢复稀疏注意力

arXiv cs.CL

RISA提出了一种面向块级扩散语言模型的可恢复稀疏注意力方法,通过共享读取计划与优先/恢复分层,在不改变骨干网络的情况下,在32K与128K上下文中分别实现最高2.67×和5.53×的注意力加速,同时保持可比的任务性能。

WriteSAE:面向循环状态的稀疏自编码器

Hugging Face Daily Papers

WriteSAE 引入了第一个稀疏自编码器,能够分解状态空间模型和混合循环语言模型中的矩阵缓存写入,相比现有方法实现了更优的令牌级干预。

核岭注意力:具有选择性遗忘的非线性记忆

arXiv cs.LG

核岭注意力(KRA)是一种循环序列混合器,它利用递归岭回归、由协方差引导的记忆更新以及 Ornstein-Uhlenbeck 转移过程来实现选择性遗忘,从而获得固定大小的推理状态,并在语言建模性能上超越注意力模型和循环模型基线。