positional-embeddings

本文介绍了SiPE，一种轻量级方法，将依存句法分析中的句法先验注入Transformer位置嵌入，在不增加推理成本的情况下，提升句法泛化能力（在SyntaxGym上最高提升10.3%）和语言理解能力（在GLUE上最高提升8.2%）。

本文介绍了Bifocal Attention，它将位置编码解耦为几何（标准RoPE）和频谱（Learnable Harmonic Operators）两种模态，以解决固定RoPE的'Spectral Rigidity'问题，从而改善超出训练窗口的算法泛化能力。