SSOG-Attention：可分离高斯和作为亚二次且可扩展的SDPA替代方案。[R]

缩放点积注意力（SDPA）通过计算所有图像标记与所有查询标记的相似性分数来计算其注意力，这导致了 O(N²·d) 的复杂性。SSOG（可分离高斯和）则为每个头部学习几个高斯基原子，并仅基于查询标记进行几何引导。由于这些原子可以分解为高斯和的可分离形式，这导致了降低的复杂性 O(N·√N·d)。实验表明，SSOG 在小型数据集（cifar100）上明显优于 SDPA，并在更大的数据集如 IN1k 上提供了等效的性能和更快的收敛速度。所有这一切都同时具有更快的速度和更高的内存效率，随着规模的增加。请查看完整的博客文章和代码库以查看更多结果和消融实验，并告诉我您的看法。博客文章: https://pisoni.ai/posts/ssog 代码库: https://github.com/4rtemi5/ssog *AI 被用于一些代码和博客文章的部分内容，但我为这个项目付出了很多努力，并对每个字都负责。