attentive-convolution

本文提出RoVE，一种无需参数的旋转位置嵌入改进方法，通过同时旋转值与键使值路径具备位置敏感性，将RoPE注意力转化为注意力卷积。在GPT-2模型上的实验表明，该机制在少样本上下文学习、分布外困惑度及长上下文检索方面持续提升性能。