linear-attention

标签

Cards List
#linear-attention

Agens Volundr 32B Preview:我们小团队基于自研混合架构的首个模型。72 层中仅 18 层保留 KV cache(Apache-2.0)

Reddit r/LocalLLaMA ↗ · 2026-10-05

Blockway 发布了 Agens Volundr 32B Preview,这是一个基于混合架构的 Apache-2.0 32B 稠密模型,72 层中仅 18 层保留 KV cache,旨在消费级/本地 GPU 上实现高效的长上下文推理。团队报告其在编码和数学基准测试上与 Qwen3.8-27B 相当,但 agentic 能力较弱,目前需要定制的 sglang 构建版本。

0 人收藏 0 人点赞
#linear-attention

HLA-WM:面向长时视频世界模型的混合线性注意力

Hugging Face Daily Papers ↗ · 2026-10-05 缓存

HLA-WM 提出一种免训练的混合线性注意力框架,通过几何引导的检索与递归线性状态重组,缓解 GatedDeltaNet 在长时视频世界模型中的远距离遗忘问题。在 60 秒基准上,该方法以 12 倍内存节省同时提升了所有一致性与相机控制指标。

0 人收藏 0 人点赞
#linear-attention

# 在不断增长的非参数神经网络中以检索为中心的深度学习

Hugging Face Daily Papers ↗ · 2026-10-02 缓存

本文提出“检索中心深度学习”(RCDL)范式,通过为每个训练样本存储键值对,并在推理时用注意力机制检索重组,构建不断增长的非参数神经网络,并为基于RBF与softmax核的注意力层推导了基于函数梯度的学习规则。实验展示了其在图像分类和合成师生任务上的潜力,并揭示了MesaNet/DeltaNet等线性注意力变体与近期优化器的形式化联系。

0 人收藏 0 人点赞
#linear-attention

LOCI:面向流式世界模型的空间线性记忆

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

LOCI 面向流式视频世界模型提出了一种混合空间记忆架构,将键值缓存与一个以相机几何为条件的循环线性注意力记忆相结合。相比全 softmax 基线,它能更忠实地重现被重新观测到的内容,同时将峰值内存降低约 30%,并支持以恒定内存流式处理长视频。

0 人收藏 0 人点赞
#linear-attention

STEPQuant:在 Delta 规则递归状态量化中,错误何时、何处最重要

Hugging Face Daily Papers ↗ · 2026-09-29

论文提出了 STEPQuant,一个面向线性注意力模型中 Delta 规则递归状态的时空训练后量化框架,在 6-bit 精度下达到接近 FP32 的准确率,实现超过 5 倍的状态压缩,并在集成到 SGLang 后最多可将服务内存降低 68.7%。

0 人收藏 0 人点赞
#linear-attention

三元线性注意力:用于长上下文序列建模的三维循环状态

Hugging Face Daily Papers ↗ · 2026-09-29 缓存

论文提出了三元线性注意力,它将线性注意力加以推广,通过将两个键(key)和一个值(value)的三重外积写入一个三阶张量状态,仅需两个额外投影即可实现 E 倍的状态容量提升。将其应用于 Gated DeltaNet 和标量门控线性注意力后,长上下文语言建模与召回能力均得到改善,优于其他扩大状态容量的方法。

0 人收藏 0 人点赞
#linear-attention

GTR:用于高效密集预测的门控 token 循环机制

Hugging Face Daily Papers ↗ · 2026-09-23 缓存

该论文提出 GTR,一个无需 softmax 的循环视觉主干网络,采用门控线性注意力,在 COCO 上以约 1.9 ms 的延迟达到 58.9 box AP。该模型从 DINOv3 检测教师模型蒸馏而来,适用于高分辨率密集预测和边缘部署。

0 人收藏 0 人点赞
#linear-attention

Video DeltaNet: 面向直播视频生成的视频原生混合注意力机制

Hugging Face Daily Papers ↗ · 2026-09-17 缓存

Video DeltaNet提出了一种混合注意力机制,结合Softmax和线性注意力,以提高视频生成模型的效率,实现了比基线方法快14.5倍的加速。

0 人收藏 0 人点赞
#linear-attention

固定状态递归中联想记忆的解剖:匹配状态分解、干扰壁垒与破解它的课程学习

arXiv cs.LG ↗ · 2026-09-16 缓存

本文分解了固定状态递归网络中的联想记忆,发现卷积和课程学习对性能至关重要,并提出了针对干扰而非容量限制的干预措施。

0 人收藏 0 人点赞
#linear-attention

谱移(SpectralShift):通过谱重参数化有效扩展门控 DeltaNet 的上下文窗口

Hugging Face Daily Papers ↗ · 2026-09-13 缓存

谱移引入了一种谱重参数化方法,通过重塑衰减谱来有效扩展门控 DeltaNet 模型的上下文窗口,并通过持续预训练提升其长上下文处理能力。

0 人收藏 0 人点赞
#linear-attention

卡尔曼增量网络:不确定性感知的联想记忆

Hugging Face Daily Papers ↗ · 2026-09-07 缓存

介绍了卡尔曼增量网络,该网络通过将线性注意力重新表述为带有卡尔曼滤波更新的线性高斯状态空间模型来改进语言建模,以追踪记忆不确定性,从而产生比现有线性注意力模型性能更优的高效近似。

0 人收藏 0 人点赞
#linear-attention

现代 Transformer 是隐式的混合体:从功能分化到原则性混合架构设计

arXiv cs.LG ↗ · 2026-09-04 缓存

本文提出了基于干预的指标,以区分 RoPE Transformer 中的检索头和位置头,从而推导出一种原则性混合架构 (HwH),该架构结合了全注意力和线性注意力,以改善语言建模和长上下文外推。

0 人收藏 0 人点赞
#linear-attention

为什么Gated DeltaNet能承受4位量化:针对混合27B LLM中循环部分的NVFP4 W4A4方案

Hugging Face Daily Papers ↗ · 2026-09-03 缓存

本文解释了为什么将混合LLM中循环Gated DeltaNet层完全量化为4位NVFP4能在长上下文基准测试中保持精度,详细阐述了异常值定位和鲁棒delta规则动态等机制。

0 人收藏 0 人点赞
#linear-attention

Test Time Training(3分钟阅读)

TLDR AI ↗ · 2026-09-03 缓存

本文讨论了Test Time Training作为AI开发中潜在的新扩展轴,分析了一篇将其定位为线性注意力形式的论文,并探讨了其对模型训练和持续学习的影响。

0 人收藏 0 人点赞
#linear-attention

滑动窗口优于线性注意力

Hugging Face Daily Papers ↗ · 2026-08-28 缓存

带有sink的滑动窗口注意力在长上下文任务上优于经过后训练的线性注意力,无需重新训练,为LLMs提供更便宜、更可靠的推理解决方案。

0 人收藏 0 人点赞
#linear-attention

@davsca1:来看看我们的 #ECCV2026 论文 "Low-latency Event-based Object Detection with Spatially-Sparse Linear Attention",其中…

X AI KOLs Timeline ↗ · 2026-08-26 缓存

本文介绍了 Spatially-Sparse Linear Attention,用于事件相机的低延迟目标检测,以比先前异步方法低20倍的计算量实现了最先进的精度。

0 人收藏 0 人点赞
#linear-attention

Qwen 4 架构:我们了解多少?

Reddit r/LocalLLaMA ↗ · 2026-08-25

作者推测 Qwen 4 的可能架构,并基于对 Deepseek 的逆向工程讨论了潜在设计,例如嵌入卸载的线性注意力或多头潜在注意力混合架构。

0 人收藏 0 人点赞
#linear-attention

查询知道该遗忘什么:线性注意力的第二擦除方向

arXiv cs.LG ↗ · 2026-08-17 缓存

介绍了用于线性注意力模型的查询派生擦除方向(QED),以提升检索性能并将可用上下文长度大约加倍,在S-NIAH-1基准测试中得到验证。

0 人收藏 0 人点赞
#linear-attention

混合线性注意力大语言模型中的大规模激活:注意力前尖峰与尖峰间平台期

Hugging Face Daily Papers ↗ · 2026-08-12 缓存

本文首次系统研究了混合线性注意力大语言模型中的大规模激活现象,揭示了由抵消时机控制的注意力前尖峰和尖峰间平台期,并展示了其形态如何在完全注意力极限下恢复。

0 人收藏 0 人点赞
#linear-attention

Retrofitting Linear Attention into Diffusion Language Models

arXiv cs.LG ↗ · 2026-08-10 缓存

This paper introduces block-hybrid attention, which combines exact softmax attention within active denoising blocks and linear attention over previous blocks, to accelerate inference in pretrained diffusion language models. The authors retrofit this hybrid attention into LLaDA 2.1, achieving up to 1.7x higher decoding throughput with minimal post-training.

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈