标签
前 JetBrains Mellum 预训练负责人 Nikita Pavlichenko 通过 1129 次训练实验系统评估了 2020 年以来的 LLM 架构改动，指出架构红利基本被 DeepSeek-V3 那一代吃完，细粒度 MoE 和线性注意力是最扎实的进步，而 Muon 等训练方法与推理 kernel 的影响常被低估。
DAMI 提出一种双轴记忆初始化方法，通过将 A_log 按几何级数分布于各头、dt_bias 沿深度呈低-高-低剖面，在 GDN、KDA、GDN2、Mamba-2、RWKV-7 五种线性注意力架构上将 RULER 检索准确率相对随机初始化提升 5.29–16.71，同时不引入额外参数或改变推理开销。
该论文评估了动态评估（对正在读取的文本执行梯度更新）在 softmax 注意力、混合线性注意力和掩码扩散语言模型中的效果，发现下一词元损失降低了 5–20%，但表明这种适应捕捉的是风格和词汇，而非事实检索能力；与此同时，对模型自身结论进行低秩蒸馏，可达到上下文学习的性能，且不会降低 GSM8K 上的表现。
PACE 是一种免微调的后训练四比特量化器，用于线性注意力的循环状态。它通过降低量化频率（每隔几个 token 才进行一次舍入）并采用按列共享的量化尺度来减少误差，从而在 4B–35B 参数的混合模型上，以约三分之二的内存达到与八比特 DAMP 相当的性能。
该论文构建了由持久性、跨学科的AI研究智能体组成的团队，这些智能体拥有各自独立的研究历史，并通过自适应分配实验预算，自主发现线性注意力架构，在1.3B规模的语言建模和检索任务上超越了GD-NS方法。
本文提出 FederatedBytes，一种采用线性注意力机制、基于字节级且无需分词器的小型语言模型，用于实现高效的多模态联邦学习。在情感分析和 ScienceQA 任务上，其性能优于 ByT5 和 LSTM，同时降低了内存和通信开销。
该论文在混合语言模型中发现了一种"竞争学习"现象，即循环层和注意力层会竞争学习相同的功能，并提出了一种分阶段训练方法，在参数量高达 1B 的模型上提升了语言建模损失、常识推理和检索任务的表现。
介绍基于 Kronecker Delta 规则的长上下文线性注意力研究（KronLSTM），在长上下文基准上表现优异，并被认为对物理 AI 与机器人的持续状态记忆具有潜在影响。
这篇论文提出将注意力的指数核展开为 n 项截断泰勒级数，并将每项分解为张量幂内积，从而用固定数量的循环状态实现线性时间 Transformer，实测在长上下文下相比 softmax 注意力有显著加速和常数解码延迟。
一位研究人员在相同预算下训练了两个拥有 1500 万参数的“仅决策”模型——一个采用线性循环骨干网络，另一个采用标准 Transformer——发现两者的准确率在统计上不分伯仲，而线性模型在 8k token 推理时的速度是后者的 2.37 倍，训练速度约为后者的 6–7 倍。帖子将准确率未见提升这一负面结果视为核心发现：小型决策模型无论采用何种底层架构，都难以达到足够的准确率。
一份详尽的 2026 年后 Transformer 架构全景梳理——涵盖 Mamba-2/3、RWKV-7、BDH（Dragon Hatchling）、xLSTM、Titans 及各类混合模型——在实际算力与能耗预算约束下，对比其核心机制、注意力变体和测试时记忆。
ReaDy 提出了一种推测性解码方法，利用混合线性注意力的循环状态作为草稿生成的动态上下文，在 NVIDIA B200 上使用 Qwen3.8-27B 实现了 3.16 倍的解码加速，相比 DSpark 在七个基准测试上均提升了吞吐量和接受长度。
论文提出 Kairos——一个基于字节级别的多模态基础模型，结合 LiZAttention2（双向门控 DeltaNet 线性注意力 + 滑动窗口注意力）、稀疏 MoE 前馈层与多尺度字节编解码器，并在极小规模上进行收敛性验证实验，报告编解码器与注意力变体对损失的影响。
论文提出了 NoteBank，一种免训练的稀疏情景记忆，通过归档选定文本并通过原生计算进行重放来增强线性注意力模型，在一百万 token 下将 Gated DeltaNet 在 RULER 上的长上下文检索准确率从 1.7% 提升至 70.3%，且 FLOPs 开销可忽略不计。
腾讯研究人员在 Hugging Face 上发布了 STEPQuant，一个针对 Delta-rule 循环状态的空间-时间后训练量化框架，仅用 6-bit 状态即可匹配 FP32 精度，并将服务内存最多削减 68.7%。
V-CoLA 提出一种面向线性注意力混合架构的免训练视觉 token 压缩框架，通过独特性感知的重要性准则与自适应 token 合并策略，在仅保留 50% 视觉 token 时达到 99.5% 原始性能，并实现 1.86x 至 6.15x 的预填充加速。
本文分析了结合全注意力与滑动窗口注意力（SWA）或门控线性注意力（GLA/GDN）的长上下文混合大语言模型的机制，发现上下文扩展中存在跷跷板效应，并提出了滑动窗口线性注意力，实现了16倍免训练长度外推，在64k上下文下NIAH-SK1准确率达到100%。
Blockway 发布了 Agens Volundr 32B Preview，这是一个基于混合架构的 Apache-2.0 32B 稠密模型，72 层中仅 18 层保留 KV cache，旨在消费级/本地 GPU 上实现高效的长上下文推理。团队报告其在编码和数学基准测试上与 Qwen3.8-27B 相当，但 agentic 能力较弱，目前需要定制的 sglang 构建版本。
HLA-WM 提出一种免训练的混合线性注意力框架，通过几何引导的检索与递归线性状态重组，缓解 GatedDeltaNet 在长时视频世界模型中的远距离遗忘问题。在 60 秒基准上，该方法以 12 倍内存节省同时提升了所有一致性与相机控制指标。
本文提出“检索中心深度学习”（RCDL）范式，通过为每个训练样本存储键值对，并在推理时用注意力机制检索重组，构建不断增长的非参数神经网络，并为基于RBF与softmax核的注意力层推导了基于函数梯度的学习规则。实验展示了其在图像分类和合成师生任务上的潜力，并揭示了MesaNet/DeltaNet等线性注意力变体与近期优化器的形式化联系。