gradient-stability

本文介绍了一种名为Exact Linear Attention (ELA) 的机制，该机制通过利用核函数分解，在不引入近似误差的情况下实现了Transformer注意力的线性计算复杂度，并通过约束核函数解决了梯度爆炸和词元稀释问题。文中还提出了包括超链接（Hyper Link）、记忆叶（Memory Lobe）以及面向混合专家模型的路由偏置在内的工程创新。