标签
本文介绍了高斯混合注意力（Gaussian Mixture Attention，GMA），这是一种概率性注意力机制，它用通过学习得到的高斯混合组件进行路由，取代了显式的成对查询-键比较，从而在序列长度上实现了线性时间复杂度。实验表明，在长上下文任务中，它凭借固定K的线性内存扩展展现出了有竞争力的性能。