标签
该论文提出 InfiLoop，一种为循环 Transformer 设计的原生残差连接机制，通过内容加权与学习式时间衰减维持循环状态的运行摘要，使模型在数万次测试时迭代中持续提升推理性能，在 Sudoku-Extreme 上达到 97.9% 精度、ARC-AGI-2 上 13.6% pass@2。
本文为语言模型提出了一种边缘注意力空间，研究表明：按词元维度进行归约会得到一种文本内在信号，该信号在 60 多个大语言模型中保持守恒；而按注意力头维度归约则会形成模型私有的特征签名。基于此，可以为每个注意力头离线设定 KV 缓存逐出预算，其性能可与逐文档方法相媲美。
论文提出了 ACG-Bench，一个用于评估双臂视觉-语言-动作策略逐臂组合泛化能力的基准，并提出 AE-VLA——将技能专用 LoRA 适配器与逐臂注意力相结合，在仿真环境和实体 SO101 机器人上的未见任务组合中显著优于基于 π₀.₅ 的基线方法。
论文提出STCFormer，一种自适应时空Transformer，通过聚类引导注意力模块（Cluster-Guided Attention Block）在每个时间片上对气象站进行动态聚类，该模块结合了局部簇内注意力与全局区域摘要，在全部八项温度与风速预报任务中取得了最低的24小时MSE。
一篇 Berkeley 的论文发现，LLM 在上下文中常会保留过时的偏好或截止时间，即使已知信息发生了更新，注意力仍不断回到陈旧的数值上；显式提供当前状态（或引导注意力聚焦最新值）即可在不重新训练的情况下大幅提升性能。
本文对位置编码的选择（RoPE 与 SWA NoPE 混合方案）如何影响上下文内检索进行了机制层面的分析，在 22 个开源权重模型上展开研究，表明混合位置编码会将检索机制从基于位置的方式转向基于语义的方式，从而解释了它们在长上下文上的性能提升以及相应的权衡取舍。
一篇讨论 DepthBench 的帖子：这是一个全新的基准测试，旨在公平比较各类深度扩展技术，例如 Kimi K3 的 AttnRes、DeepSeek V4 的 mHC 以及字节跳动提出的 HC。此前由于训练预算和架构各不相同，这些方法一直无法进行直接对比。
LoopVL 将 Loop Transformer 扩展到视觉-语言模型中，通过共享模块（Module-Loop 和 Model-Loop）迭代更新统一的多模态状态，在理解与推理基准上超越了同等规模的非循环模型，并在注意力中呈现出引人注目的'视觉顿悟时刻'。
QuantWM 提出一种免训练的 2-bit KV cache 量化框架，通过量化敏感性感知聚类（QSAC）与主子空间注意力补偿（PSAC）来稳定视频世界模型的注意力 logits，缓解时间闪烁与视觉退化，并在多个基准上实现最高 6.20 倍 KV cache 内存压缩。
本文在使用分块 KV 缓存压缩的模型中发现了“相位敏感性”现象：检索准确率以与压缩步长相同的周期振荡，在 128K token 时甚至会导致答案翻转或长上下文准确率偏移高达 40 个百分点。通过受控的 0.6B 预训练实验，该效应被证实源自压缩机制本身。
MinkowskiPE 提出了一种基于 Minkowski 几何的位置编码，使注意力分数仅依赖于相对时空位移，在保持时空平移不变性的同时与 FlashAttention 兼容，并在分子动力学和视频预测任务上取得了稳定的性能提升。
提出了 Extender，一种日志结构化的 Transformer 架构，通过增加一条拼接通道 ε 而非仅依赖残差通道 h，在 924M 参数规模下实现与 Transformer 相当的短上下文精度、更优的长上下文（RULER）表现，且持久化注意力内存足迹比多头注意力缩小 10⁴ 倍。
论文提出了 CacheBack，一种免训练的接收方条件化隐空间通信方法：根据接收代理的信息需求，对发送方代理的 KV 缓存进行过滤和压缩，将传输的状态减少 75%，在 FanOutQA 上使用 Qwen3 时，相比文本通信将准确率提升 14.7 个百分点，并将延迟降低 3.2 倍。
作者回顾了五年前删除Instagram的经历，并讨论了它如何通过不断的比较和关注影响日常生活和人际关系，从外部视角看更为极端。
AttnFuse引入了一种可组合的DSL，用于将自定义注意力模式（包括RoPE）编译为融合GPU内核，相比现有方法如PyTorch的flex_attention实现了加速。
本文介绍了一种用于块扩散模型的常量大小状态缓存，与基于注意力的方法相比，显著降低了内存和延迟，实现了高效的长上下文生成，且无质量损失。
论文提出了计算条件化信用传递（CCT）和 CompPO 算法，用于大语言模型强化学习中的架构感知信用分配，性能优于 GRPO 等基线方法。
文章分享了一个直觉，即RNNs中的压缩代表智能递归，而RLMs中的递归代表智能注意力，比较了AI模型中不同的上下文处理方法。
本文介绍了MARCH，一种网络架构，通过将累积的循环状态检查点缓存为内容可寻址的状态锚点，将循环状态空间模型扩展到固定尺寸维度之外，从而实现高效的长程记忆检索，在长上下文基准测试中优于线性注意力变体。
LoKiFormer proposes a new LLM architecture with Local Fusion Attention and a Knowledge Memory Module to improve pretraining efficiency, achieving 1.33x faster convergence than baselines.