spectral-evolution

本文介绍了Bifocal Attention，它将位置编码解耦为几何（标准RoPE）和频谱（Learnable Harmonic Operators）两种模态，以解决固定RoPE的'Spectral Rigidity'问题，从而改善超出训练窗口的算法泛化能力。