linear-self-attention

本文构造了一个具有线性自注意力的Transformer，该Transformer对简单线性回归执行闭式最小二乘解的上下文学习，利用层归一化来近似解析解，而非梯度下降。