标签
提出PN-Mix，一种面向RoPE解码器LLM的混合精度键缓存量化方法，通过查询-键对范数识别显著通道对，在约2.26位平均精度下达到或超越现有方法在2.32–2.39位下的精度，且可优雅降级至1.5位。
提出克罗内克积注意力（KPA），使用克罗内克积的紧凑矩阵因子表示键值激活，实现最高 10 倍的 KV 缓存压缩，同时在多个模型规模和基准测试上达到或超越 TPA、MQA、GQA 和 MLA 等方法的表现。
AttnFuse引入了一种可组合的DSL，用于将自定义注意力模式（包括RoPE）编译为融合GPU内核，相比现有方法如PyTorch的flex_attention实现了加速。
本文提出了基于干预的指标，以区分 RoPE Transformer 中的检索头和位置头，从而推导出一种原则性混合架构 (HwH)，该架构结合了全注意力和线性注意力，以改善语言建模和长上下文外推。
A technical survey on position encoding methods in Transformers, covering absolute and relative methods, RoPE, and long-context scaling techniques like Position Interpolation, NTK-aware scaling, YaRN, and LongRoPE.
ATFlash introduces a per-RoPE-wavelength distance window that prunes query-key inner-product terms proportional to each frequency pair's wavelength, cutting 37-48% of attention compute with minimal quality loss and up to 1.31x speedups on long-context LLM inference.
本文介绍了Bifocal Attention，它将位置编码解耦为几何（标准RoPE）和频谱（Learnable Harmonic Operators）两种模态，以解决固定RoPE的'Spectral Rigidity'问题，从而改善超出训练窗口的算法泛化能力。
Jet-Long提出了一种无需微调的零样本方法，通过动态调整RoPE缩放来扩展LLM上下文长度，在高达128K上下文的基准测试中取得了强劲性能，且推理开销极小。
介绍了Jet-Long，一种用于长上下文扩展的零样本方法，该方法动态调整重缩放因子并使用双焦点注意力机制，无需重新训练即可在不同序列长度上实现高效高性能处理。
新论文介绍了 PoPE，一种将内容与位置解耦的位置编码，解决了在多个 LLM（如 Qwen、Gemma、DeepSeek）中使用的 RoPE 的一个基本缺陷。已在 ICML2026 上展示。
介绍LPES，一种层特定位置嵌入缩放方法，通过使用贝塞尔曲线的遗传算法为每层分配不同的缩放因子，缓解LLM中的“中间丢失”问题，无需微调或增加延迟即可实现高达11.2%的准确率提升。
本文研究了为何累积的、依赖于token的正交变换（如PaTH Attention中使用的以及简化版SO(2)旋转变体）能使Transformer实现长度外推。论文证明此类变换在有限步后变得不连贯，从而抑制对远距离token的注意力；同时从理论和实验上表明该机制能改善外推，但在极端上下文长度下性能最终会下降。
提出Block-GTQ，一种感知RoPE的KV缓存量化比特分配方法，通过为高能量RoPE块分配更多比特，提升长上下文性能与内存效率。
Echo-Infinity 提出了一种可学习的演化记忆机制，用于自回归视频生成，以恒定的内存成本实现了实时无限视频生成，并达到了最先进的性能。
本文总结了关于长上下文LLM的高效AI讲座15，涵盖用于上下文扩展的RoPE位置插值、大海捞针评估，以及StreamingLLM的注意力汇聚现象和KV缓存驱逐策略。
SEGA是一种无需训练的方法，通过在去噪步骤中根据空间频率结构自适应地缩放RoPE组件的注意力，改善高分辨率文本到图像生成。
本文证明，基于RoPE的注意力机制在长上下文中无法区分词元位置和身份，解释了LLM在宣称的上下文长度内失败的原因。实验验证表明，针对检索优化的模型在简单列表任务上表现困难。
一条社交媒体帖子讨论了直接将RoPE旋转应用于KV缓存的技术含义，指出这会泄露位置信息到值矩阵V。
本文深入剖析了 DeepSeek-V4 中 RoPE（旋转位置编码）设计的技术细节，重点阐述了在 CSA 和 HCA 模块中如何处理 token 压缩与共享 KV 缓存。
Moonshine 提出了一系列用于语音识别的编码器-解码器 Transformer 模型，这些模型采用了旋转位置编码（RoPE），专为实时转录和语音命令优化。与 Whisper tiny.en 相比，计算量减少了 5 倍，而词错误率没有增加。