depth-wise-routing

本文介绍了一种用于大语言模型（LLMs）的低秩注意力残差（LR-AttnRes），该方法通过使用低维键进行深度注意力，将路由与表示解耦，在减少FLOPs的同时提升了性能。