attention-only

本文提出了一种基于LeJEPA自监督预训练的纯注意力白盒Transformer，在CIFAR-10/100上取得了具有竞争力的准确率，同时与CRATE相比参数量减少约31%，并进一步展示了标准ViT中MLP的冗余性。

本文提出了一项对照研究，比较了仅注意力Transformer（简单注意力网络，SANs）与在参数、计算量和深度上匹配的标准Transformer。研究发现，当将释放的容量重新分配给注意力深度时，移除前馈层在很大程度上缩小了性能差距，剩余差距归因于参数回忆。