low-rank-attention

本文介绍了一种用于大语言模型（LLMs）的低秩注意力残差（LR-AttnRes），该方法通过使用低维键进行深度注意力，将路由与表示解耦，在减少FLOPs的同时提升了性能。

提出了一种基于重叠Schwarz领域分解的层次注意力机制，用局部和粗糙块的两级加性结构替代稠密的全局低秩注意力，训练更快，准确度更高，且参数更少。