dirichlet-kernels

标签

Cards List
#dirichlet-kernels

模糊窗口注意力

arXiv cs.LG · 2026-06-10 缓存

提出模糊窗口注意力(BLA),一种具有有界记忆控制的新型注意力方法,通过狄利克雷核插值重建模糊的KV历史,在多查询关联回忆任务上实现了比滑动窗口注意力高8倍的状态效率。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈