@agopal42：今天在 #ICML2026 上介绍 PoPE！我们从内容-位置纠缠的角度重新审视 RoPE，并展示如何用极坐标…

X AI KOLs Timeline 论文
positional-encoding rope content-position-entanglement llm icml2026 length-generalization

摘要

新论文介绍了 PoPE，一种将内容与位置解耦的位置编码，解决了在多个 LLM（如 Qwen、Gemma、DeepSeek）中使用的 RoPE 的一个基本缺陷。已在 ICML2026 上展示。

今天在 #ICML2026 上介绍 PoPE！ 我们从内容-位置纠缠的角度重新审视 RoPE，并展示极坐标如何更好地将内容与位置解耦。 如果您对位置嵌入、预训练或长度泛化感兴趣，请来海报 #4012 处交流。
查看原文
查看缓存全文

缓存时间: 2026/07/06 22:22

今天我们在 #ICML2026 上介绍 PoPE！

我们重新审视了 RoPE，从内容与位置纠缠的角度出发，展示了极坐标如何更好地解耦内容与位置信息。

如果你对位置编码、预训练或长度泛化感兴趣，欢迎来海报展区 #4012 交流。

Anand Gopalakrishnan (@agopal42): 我们的新论文表明，RoPE——Qwen、Gemma、DeepSeek 等现代大语言模型常用的位置编码——存在一个根本缺陷：它混淆了“什么”（内容）与“哪里”（位置）的信息。 我们的解决方案（PoPE）简单而强大。论文链接：

相似文章

RoPE在长上下文中既不能区分位置也不能区分标记，可证明

arXiv cs.CL

本文提供了理论证明，表明基于Transformer的语言模型中的旋转位置嵌入（RoPE）在长上下文中会失去其局部性偏差和区分标记顺序的能力，注意力分数变得不比随机更好。作者证明，增加RoPE基频会在位置区分和标记区分之间进行权衡，且多头、多层架构无法弥补这一基本限制。

RIG-RoPE: Relation- and Instance-Gated Rotary Positional Encoding with Duration-Aware Temporal Coordinates

arXiv cs.CL

This preliminary technical report proposes RIG-RoPE, a relation- and instance-gated rotary positional encoding with duration-aware temporal coordinates, aiming to address spatial interference and improper temporal scaling in multimodal LLMs. It introduces a gating mechanism for height/width rotations and duration-aware temporal coordinates, but leaves large-scale empirical validation to future work.

HRoPE：基于单应变换的相对位置编码

Hugging Face Daily Papers

HRoPE 提出了一种表面感知的位置编码，将每个 patch 建模为倾斜的 3D 平面，并将平面诱导的单应变换作为相对变换注入注意力机制，从而在无需真实几何信息的情况下提升跨视角对齐与新视角合成的效果。在 RealEstate10K、CO3Dv2 和 DL3DV 上的实验表明，该方法优于现有的几何位置编码。

RoVE：面向相对位置依赖值路径的旋转值嵌入注意力机制

arXiv cs.LG

本文提出RoVE，一种无需参数的旋转位置嵌入改进方法，通过同时旋转值与键使值路径具备位置敏感性，将RoPE注意力转化为注意力卷积。在GPT-2模型上的实验表明，该机制在少样本上下文学习、分布外困惑度及长上下文检索方面持续提升性能。