标签
Blockway 发布了 Agens Volundr 32B Preview,这是一个基于混合架构的 Apache-2.0 32B 稠密模型,72 层中仅 18 层保留 KV cache,旨在消费级/本地 GPU 上实现高效的长上下文推理。团队报告其在编码和数学基准测试上与 Qwen3.8-27B 相当,但 agentic 能力较弱,目前需要定制的 sglang 构建版本。
HLA-WM 提出一种免训练的混合线性注意力框架,通过几何引导的检索与递归线性状态重组,缓解 GatedDeltaNet 在长时视频世界模型中的远距离遗忘问题。在 60 秒基准上,该方法以 12 倍内存节省同时提升了所有一致性与相机控制指标。
本文提出“检索中心深度学习”(RCDL)范式,通过为每个训练样本存储键值对,并在推理时用注意力机制检索重组,构建不断增长的非参数神经网络,并为基于RBF与softmax核的注意力层推导了基于函数梯度的学习规则。实验展示了其在图像分类和合成师生任务上的潜力,并揭示了MesaNet/DeltaNet等线性注意力变体与近期优化器的形式化联系。
LOCI 面向流式视频世界模型提出了一种混合空间记忆架构,将键值缓存与一个以相机几何为条件的循环线性注意力记忆相结合。相比全 softmax 基线,它能更忠实地重现被重新观测到的内容,同时将峰值内存降低约 30%,并支持以恒定内存流式处理长视频。
论文提出了 STEPQuant,一个面向线性注意力模型中 Delta 规则递归状态的时空训练后量化框架,在 6-bit 精度下达到接近 FP32 的准确率,实现超过 5 倍的状态压缩,并在集成到 SGLang 后最多可将服务内存降低 68.7%。
论文提出了三元线性注意力,它将线性注意力加以推广,通过将两个键(key)和一个值(value)的三重外积写入一个三阶张量状态,仅需两个额外投影即可实现 E 倍的状态容量提升。将其应用于 Gated DeltaNet 和标量门控线性注意力后,长上下文语言建模与召回能力均得到改善,优于其他扩大状态容量的方法。
该论文提出 GTR,一个无需 softmax 的循环视觉主干网络,采用门控线性注意力,在 COCO 上以约 1.9 ms 的延迟达到 58.9 box AP。该模型从 DINOv3 检测教师模型蒸馏而来,适用于高分辨率密集预测和边缘部署。
Video DeltaNet提出了一种混合注意力机制,结合Softmax和线性注意力,以提高视频生成模型的效率,实现了比基线方法快14.5倍的加速。
本文分解了固定状态递归网络中的联想记忆,发现卷积和课程学习对性能至关重要,并提出了针对干扰而非容量限制的干预措施。
谱移引入了一种谱重参数化方法,通过重塑衰减谱来有效扩展门控 DeltaNet 模型的上下文窗口,并通过持续预训练提升其长上下文处理能力。
介绍了卡尔曼增量网络,该网络通过将线性注意力重新表述为带有卡尔曼滤波更新的线性高斯状态空间模型来改进语言建模,以追踪记忆不确定性,从而产生比现有线性注意力模型性能更优的高效近似。
本文提出了基于干预的指标,以区分 RoPE Transformer 中的检索头和位置头,从而推导出一种原则性混合架构 (HwH),该架构结合了全注意力和线性注意力,以改善语言建模和长上下文外推。
本文解释了为什么将混合LLM中循环Gated DeltaNet层完全量化为4位NVFP4能在长上下文基准测试中保持精度,详细阐述了异常值定位和鲁棒delta规则动态等机制。
本文讨论了Test Time Training作为AI开发中潜在的新扩展轴,分析了一篇将其定位为线性注意力形式的论文,并探讨了其对模型训练和持续学习的影响。
带有sink的滑动窗口注意力在长上下文任务上优于经过后训练的线性注意力,无需重新训练,为LLMs提供更便宜、更可靠的推理解决方案。
本文介绍了 Spatially-Sparse Linear Attention,用于事件相机的低延迟目标检测,以比先前异步方法低20倍的计算量实现了最先进的精度。
作者推测 Qwen 4 的可能架构,并基于对 Deepseek 的逆向工程讨论了潜在设计,例如嵌入卸载的线性注意力或多头潜在注意力混合架构。
介绍了用于线性注意力模型的查询派生擦除方向(QED),以提升检索性能并将可用上下文长度大约加倍,在S-NIAH-1基准测试中得到验证。
本文首次系统研究了混合线性注意力大语言模型中的大规模激活现象,揭示了由抵消时机控制的注意力前尖峰和尖峰间平台期,并展示了其形态如何在完全注意力极限下恢复。
This paper introduces block-hybrid attention, which combines exact softmax attention within active denoising blocks and linear attention over previous blocks, to accelerate inference in pretrained diffusion language models. The authors retrofit this hybrid attention into LLaDA 2.1, achieving up to 1.7x higher decoding throughput with minimal post-training.