spectral

本文介绍FourierQK，一种对Transformer注意力中的学习查询和键投影应用基于FFT的频域预处理的方法，在字符级语言建模上实现了显著的验证损失降低。该方法保留了完整的注意力分数结构，并展示了相对于标准点积注意力的可复现收益。

本文介绍了MuCon，一种用于大语言模型训练的裁剪Muon优化器，它应用奇异值裁剪而非完全极化，保留较小的奇异值而仅裁剪最大的奇异值。它探索了避免全SVD的近似方法，包括极坐标/绝对值公式和有理牛顿滤波器，并指出了阈值附近的数值挑战。