recurrent-attention

标签

Cards List
#recurrent-attention

核岭注意力:具有选择性遗忘的非线性记忆

arXiv cs.LG ↗ · 2天前 缓存

核岭注意力(KRA)是一种循环序列混合器,它利用递归岭回归、由协方差引导的记忆更新以及 Ornstein-Uhlenbeck 转移过程来实现选择性遗忘,从而获得固定大小的推理状态,并在语言建模性能上超越注意力模型和循环模型基线。

0 人收藏 0 人点赞
#recurrent-attention

利用指数衰减记忆增强注意力提升查询感知的KV稀疏性

Hugging Face Daily Papers ↗ · 2026-05-27 缓存

本文探讨了RAT+中的指数衰减记忆模块如何提升长上下文语言模型的查询感知稀疏推理方法,在针尖干草垛任务中,跨多种稀疏预算展示了一致的准确率提升。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈