标签
FreeSolo 提出了一种原生稀疏注意力机制，结合短程滑动窗口和基于长程关键点的双分支结构，实现线性时间复杂度，并在无需昂贵的长上下文微调的情况下，将零样本长度外推能力提升至 256k+ token。
论文提出了 NoteBank，一种免训练的稀疏情景记忆，通过归档选定文本并通过原生计算进行重放来增强线性注意力模型，在一百万 token 下将 Gated DeltaNet 在 RULER 上的长上下文检索准确率从 1.7% 提升至 70.3%，且 FLOPs 开销可忽略不计。
作者介绍了 ALHR（Adaptive Learnable Hierarchical Routing，自适应可学习分层路由），一种基于静态二叉树与可学习函数的稀疏注意力系统。在 MQAR 测试中，每个查询平均仅读取约 30 个键（相比之下稠密注意力需要读取 512 个），实现了约 35.3 倍的 KV 压缩，同时保持接近的准确率，并将推理复杂度降至 NlogN，显存占用线性扩展。
Edge0 开源一个月后展示了 35B 模型在 iPhone 飞行模式下以 1.8GB 峰值内存运行的能力，无需云端或服务器，已扩展到耳机、智能眼镜、机器人等设备并拥有超过 8 万用户。
介绍 Jag，一个 0.8B 视觉定位模型，通过单次前向传播直接预测边界框而非自回归生成坐标，在保持与 LocateAnything 相当精度的同时，速度提升 3.62 倍、峰值 GPU 显存降低 73.88%，并开源了模型权重、代码与在线演示。
本文提出SPIN（Shadow Predictive Indexer），一种免训练的方法，利用历史解码迭代中的indexer分数预测重要KV块，从而跳过部分上下文评分，实现30-40%的稀疏度，在vLLM端到端服务中吞吐量最高提升14.9%，中位ITL降低13.2%。
论文提出 KITE，一种无需训练的框架，将隐式多智能体间的 KV 通信重点从发送端的状态保真度转移到接收端的任务充分性上，仅传输对任务有效的关键层。实验表明，在七个基准上，该方法实现了 28-36 倍的通信量缩减，推理速度最高提升 3 倍，准确率最高提升 23.3 个百分点。
LatentGRM 提出了一种基于语义分块与压缩重建的潜在评估框架，通过在连续隐空间中完成 rubric 引导的成对偏好判断，将评估轨迹压缩 8.9–9.2 倍并把推理时间减少 6.1–7.0 倍，同时保持与显式 SFT 评委相当的偏好准确率。
REMORY 引入了一种神经记忆网络，通过一组有界的软记忆令牌来补充文本摘要，以实现长时程智能体的上下文压缩，使冻结的 LLM 仅使用 5.2% 的输入位置即可接近全上下文性能，并在 Qwen3.8-27B 和 GLM-5.3-Flash 上取得一致的提升。
LiFT 提出了一类循环生成模型，通过反复应用共享的 Diffusion Transformer（DiT）核心来扩展计算量，并在每个循环步上以连续深度的流匹配回归目标进行训练，使推理可以远超训练深度。在 ImageNet 256x256 上，LiFT-L/2 比稠密的 DiT-XL/2 基线在 FID 上低 3.34 点，同时参数量减少约 60%，推理 FLOPs 减少 52%。
MoRA 提出了一种结构化的 MoE 专家剪枝框架，使用可学习的路由偏置，结合语言模型损失与路由多样性正则项进行优化，并引入剪枝后的专家近似机制。在移除 25-50% 专家的设置下，在 Qwen3-30B-A3B、DeepSeek-V2-Lite 和 Moonlight-16B-A3B 上超越了当前最先进的剪枝方法。
该帖子指出 Andrej Karpathy 的观点：小型 3B 模型可以替代前沿模型的调用，并介绍了 webAI 推出的开源推理模型 TwIL-LM3-Pro。这款拥有 36 亿参数的模型在形式逻辑任务上与 Qwen3-8B 表现相当，同时可以在 CPU 或 4GB 显存的本地设备上运行。
北京大学研究人员提出 NAMOH，这是一种架构原生的稀疏注意力机制，每个 token 仅激活 H 个头中的 K 个，使头路由同时决定活跃参数量和可用上下文。该机制使参数扩展能够直接支撑高效的长上下文扩展，在总参数量相同的情况下优于全激活模型，同时与 GQA 及现有稀疏注意力方法保持兼容。
提出了一种用于隐私脱敏的多语言命名实体标记器，通过提示前沿LLM提供监督并结合人工金标准数据对XLM-R进行微调，在35种语言上实现88.8的脱敏（redaction）F1，同时在CPU吞吐上比GLiNER2快4.9倍，并开源了代码、提示与训练配方。
Sieve 与 Sage 是一个两阶段 RALM 拒答框架，通过轻量级的 Sieve 模块，在调用昂贵的 LLM（Sage）之前过滤干扰性的检索证据，并区分「不可答」与「被干扰」两种状态。相比单阶段基线，该方法在准确率上最高提升 69.4 个百分点、在 Macro-F1 上最高提升 55.2 个百分点，并实现了 1.99 倍的加速。
HyperZip 提出了一种高效的基于大语言模型的无损数据压缩框架。该框架利用基于扩散的大语言模型、Multi-Token Prediction（多词元预测）以及超网络，无需微调即可让模型适配目标数据，从而在压缩率与吞吐量之间实现了优于自回归基线的权衡。
SMat-Attention 引入了具有可调 VC 维度的结构化因果掩码，在 softmax attention 与 linear attention 之间架起桥梁，实现了亚二次方的 prefill、常数时间的解码（缓存状态为 O(T^{1-1/d})），并在召回能力上优于 Mamba-2 和 Gated DeltaNet 等骨干网络。
本综述通过上下文记忆的五个维度（表示、更新、访问、读出与集成）视角分析大语言模型中注意力机制的演进，涵盖 14 个模型谱系的 59 条发布级记录，并提出了面向未来序列架构设计的有状态多维记忆路由假说。
FocusVTC 通过自适应分辨率打破了视觉文本压缩中的压缩率-性能权衡，借助 REL-SFT 和 GRPO 训练模型在低 DPI 全局视图的基础上选择性增强关键区域，在 RULER、LongBench、MRCR 等长上下文基准上大幅超越 Glyph 等基线，并实现 2.79 倍的在线端到端加速。
Draft-KV是一种语言模型间潜态通信的方法，它发送键值状态而非解码文本，在保持模型冻结的同时，以最小参数量提升如MMLU等基准测试的准确率。