标签
核岭注意力(KRA)是一种循环序列混合器,它利用递归岭回归、由协方差引导的记忆更新以及 Ornstein-Uhlenbeck 转移过程来实现选择性遗忘,从而获得固定大小的推理状态,并在语言建模性能上超越注意力模型和循环模型基线。
本文探讨了RAT+中的指数衰减记忆模块如何提升长上下文语言模型的查询感知稀疏推理方法,在针尖干草垛任务中,跨多种稀疏预算展示了一致的准确率提升。