标签
本文介绍FourierQK，一种对Transformer注意力中的学习查询和键投影应用基于FFT的频域预处理的方法，在字符级语言建模上实现了显著的验证损失降低。该方法保留了完整的注意力分数结构，并展示了相对于标准点积注意力的可复现收益。