标签
该论文提出了周期性 RoPE(P-RoPE)和谐波周期性 RoPE(HP-RoPE),通过在滑动窗口内重复旋转角度来消除位置耗尽问题,使困惑度在上下文长度从 768 增至 16k 时保持近乎不变,并在 16k 长度下实现了 99–100% 的密钥检索准确率,远超标准 RoPE、NTK 和 YaRN。
本文在受控的单头注意力设定下提出了一种用于长度泛化的可实现性理论,通过仿真迁移算子推导出相对位置编码与绝对位置编码在外推行为上存在差异的原因,并通过对2625个已训练模型的实验验证了这一理论结构。
World-in-Context 提出了一种交互式视频世界建模框架,通过上下文条件化(In-Context Conditioning),将视角、动作和相机控制作为显式 token 统一纳入共享的自注意力空间,并引入 Interaction-Transport RoPE 以保持时间连续性。其 5B 模型在 WBench 上的导航性能与 22B 的 EchoWM 相当,同时实现了 93.8% 的视角切换成功率,而现有 5B 基线模型的成功率仅为 18.8%。
HRoPE 提出了一种表面感知的位置编码,将每个 patch 建模为倾斜的 3D 平面,并将平面诱导的单应变换作为相对变换注入注意力机制,从而在无需真实几何信息的情况下提升跨视角对齐与新视角合成的效果。在 RealEstate10K、CO3Dv2 和 DL3DV 上的实验表明,该方法优于现有的几何位置编码。
提出 LayerRoPE,将 Transformer 中隐式的深度位置编码显式化:用单一共享 γ 向量与深度条件标量替代逐层 γ,在参数减少、FLOPs 几乎不变的情况下,在最高 512 层的深度上实现更稳定的训练与显著更高的计算效率(达到 Pre-Norm 1.3B 损失所需算力减少 3.4 倍)。
论文提出 FOVEATED——一个即插即用的框架,通过在编辑过程中扰动前文上下文的 RoPE 位置,来抵消上下文导致的难度低估,从而提升非结构化知识编辑中的原子事实召回率;该方法在五种编辑器、两种 LLM 主干模型和三个基准测试上均取得一致的性能提升。
本文对位置编码的选择(RoPE 与 SWA NoPE 混合方案)如何影响上下文内检索进行了机制层面的分析,在 22 个开源权重模型上展开研究,表明混合位置编码会将检索机制从基于位置的方式转向基于语义的方式,从而解释了它们在长上下文上的性能提升以及相应的权衡取舍。
MinkowskiPE 提出了一种基于 Minkowski 几何的位置编码,使注意力分数仅依赖于相对时空位移,在保持时空平移不变性的同时与 FlashAttention 兼容,并在分子动力学和视频预测任务上取得了稳定的性能提升。
本文引入了层次旋转位置编码 (hRoPE) 来表示文本层次结构,并使用压缩深度作为段落结构的特征,表明它与其他指标相比,与真正的层次组织相关性更好。
本文介绍了Wiola,一个具有13M参数的仅解码器语言模型,采用螺旋旋转位置编码和门控螺旋注意力等新组件,以提升小型设备端语言模型的参数效率。
SCoPE 是 TencentARC 提出的一个模型,它将相机视线作为位置坐标添加到预训练的视频扩散 Transformer 中,从而能够在保持图像到视频先验的同时实现相机轨迹控制。该发布包含一个用于 Wan2.2-I2V-A14B 推理的自包含检查点。
一篇通俗易懂的解释,说明为什么Transformer需要位置编码,用bug报告类比和Python的Counter来演示并行处理如何丢失词序。
ClockRoPE引入随机傅里叶旋转来建模序列推荐中的时间周期性,具有理论基础,并通过一家主要视频分享平台的在线A/B测试得到验证。
本文揭示了前沿大语言模型由于位置编码的限制而在精确复制任务上表现困难,并提出 2D-RoPE 方法,将文本组织为二维网格以实现完美复制,在合成数据和大规模预训练中展现出优势。
本文研究了注意力头中QK算子的谱性质,表明位置方案(RoPE、学习到的绝对位置、ALiBi)设定了一个默认的谱代数,它起到了功能确定后固化的指纹作用,而非硬约束。
本文指出,从神经网络权重中可见的几何对称性取决于位置编码和读出可观测量,并通过在多个对称群下训练二维符号距离函数的MLP进行了验证。
新论文介绍了 PoPE,一种将内容与位置解耦的位置编码,解决了在多个 LLM(如 Qwen、Gemma、DeepSeek)中使用的 RoPE 的一个基本缺陷。已在 ICML2026 上展示。
Wiola是一种新颖的小型语言模型(SLM)架构,引入了五个独立设计的组件——SRPE、GCLA、ATM、DSFF和WiolaRMSNorm——旨在提高效率和连贯性,发布了从1.2亿到15亿参数的多个规模,并与HuggingFace Transformers集成。
这条推文分享了一篇关于LLMs内部工作原理的详尽解释,涵盖了tokens、embeddings、positional encoding、attention和feed-forward网络,来源于0xkato的一篇博文。
LazyAttention 提出了一种新颖的注意力机制,通过延迟位置编码来实现跨多个请求的零拷贝、位置无关的 KV 缓存复用。在文档分布倾斜的 RAG 场景下,该方法与 Block-Attention 相比,首 token 生成时间缩短至原来的 1/1.37×,推理吞吐量提升 1.40×。