标签
本文提出了一种基于位置编码的可变形空间聚合模块（PEBDSAM），以解决图神经网络中常见的过平滑和过压缩问题，并引入了一个简化版本PEBSAM，在同质图和异质图上展示了改进的性能。
A technical survey on position encoding methods in Transformers, covering absolute and relative methods, RoPE, and long-context scaling techniques like Position Interpolation, NTK-aware scaling, YaRN, and LongRoPE.
本文提出RoVE，一种无需参数的旋转位置嵌入改进方法，通过同时旋转值与键使值路径具备位置敏感性，将RoPE注意力转化为注意力卷积。在GPT-2模型上的实验表明，该机制在少样本上下文学习、分布外困惑度及长上下文检索方面持续提升性能。
PJ-RoPE将RoPE的傅里叶相位、Jordan-RoPE的有限若尔当块和ALiBi的仿射近因性统一到一个可学习的相对位置空间中，并研究了不同任务对该空间区域的选择。
本文证明，基于RoPE的注意力机制在长上下文中无法区分词元位置和身份，解释了LLM在宣称的上下文长度内失败的原因。实验验证表明，针对检索优化的模型在简单列表任务上表现困难。