sparse-transformer

OpenAI推出了稀疏Transformer，一种深度神经网络，将注意力机制的复杂度从O(N²)优化到O(N√N)，使得能够对长度超过以前30倍的序列进行建模，适用于文本、图像和音频领域。该模型采用稀疏注意力模式和基于检查点的内存优化技术，可以训练深达128层的网络，在多个领域实现了最先进的性能。