标签
该论文将七种关于 Transformer 能力的形式化理论统一到一个预测矩阵中，并通过受控实验检验这些理论，发现没有任何单一理论能完整解释 Transformer 的实际成败，进而总结出未来理论必须涵盖的关键特征。
UC Berkeley、Apple、EPFL、Harvard、MIT 和 Google DeepMind 的研究人员发现，在排序任务上训练的两层 Transformer 会根据初始化的不同收敛到两种机制上截然不同的解类别，其中只有双注意力层的解能够完美实现长度泛化。
PAR（Progress-Aligned Recurrence，进度对齐循环）将循环语言模型的每次循环迭代与任务的一步操作对齐，并对隐状态进行重缩放以防止漂移，从而在 swap-S5 状态追踪任务上实现 16 倍长度外推，0.5B 参数模型达到 95.5% 的准确率，远超 RLT 和 CoT 基线。
该论文提出让谐振序列模型（ResonatorLM）的读出相位依赖当前 token，在保持 FFT 卷积训练路径的同时引入输入依赖性，使在 256 token 训练、1024 token 测试时困惑度从 12.81 降至 3.76，显著改善长度泛化。
本文研究为何标准神经网络架构在动态规划中无法对更长输入进行泛化，通过利用热带半环理论的几何分析来揭示组合中的结构限制。
本文表明，最先进的视觉-语言模型在视觉推理中的长度泛化任务上因“全局捷径”而失败，并证明将局部中央凹感知与递归相结合能够实现鲁棒的分布外泛化。
新论文介绍了 PoPE，一种将内容与位置解耦的位置编码，解决了在多个 LLM（如 Qwen、Gemma、DeepSeek）中使用的 RoPE 的一个基本缺陷。已在 ICML2026 上展示。
本文系统研究了百万token规模下的上下文检索，介绍了BlockSearch——一个0.6B参数的语言模型检索器，并分析了注意力稀释现象。该模型在MS MARCO和NQ等基准测试上达到或超越了密集检索的性能，并在需要不同相似性概念的任务上显著优于密集检索，突显了上下文检索的潜力，同时强调了在极端上下文增长下注意力控制的重要性。
Wall Attention 将对角遗忘门泛化到 softmax 注意力，实现了从 4k 到 160k+ 上下文的零样本最先进长度外推，并且在预训练中优于 RoPE 和 FoX。它作为即插即用的替换方案发布，附带开源的 Triton 内核。