标签
本文提出了一种基于LeJEPA自监督预训练的纯注意力白盒Transformer，在CIFAR-10/100上取得了具有竞争力的准确率，同时与CRATE相比参数量减少约31%，并进一步展示了标准ViT中MLP的冗余性。