标签
本文提出了一种名为Random Attention的KV缓存驱逐方法，它使用随机选择而非评分，匹配选择性方法的同时提高推理任务中的吞吐量。
提出随机注意力（Random Attention, RA）模块，这是一种用于移动睡眠分期的轻量级时序建模模块，采用固定随机投影进行基于相似度的聚合，以极少的额外参数实现具有竞争力的性能。