linear-transformers

本文从理论上分析了领域泛化下线性Transformer的上下文学习，建立了与维度无关的收敛速率，并提出了用于线性化预训练softmax大语言模型的新型激活和损失设计。