sparse-attention

标签

Cards List
#sparse-attention

8GB 显存运行 Qwen 27b:200k 上下文,92.5% 的 Top-1 匹配率,LCB 上与 BF16 的差距在 10% 以内,基准测试得分比 9b 高 17%

Reddit r/LocalLLaMA ↗ · 22小时前

LlamAmpere 负责人发布了可在 8GB 显卡上运行的 Qwen3.8 27b 超低比特量化模型(2.1bpw/1.75bpw trellis 格式),借助潜在稀疏注意力与 SJKVaRN 技术实现 200k 上下文与 92.5% Top-1 匹配率,性能接近 BF16 且比 9b 模型高出 17% 基准分,为 8GB 显卡用户带来显著能力跃升。

0 人收藏 0 人点赞
#sparse-attention

通过动态路由、KV 中心执行与运行时流水线加速 Mixture of Block Attention

Hugging Face Daily Papers ↗ · 2天前 缓存

论文提出 LightningMoBA,通过动态相对阈值路由、面向数据复用的 KV 中心查询分组以及在 Hopper GPU 上的流水线执行来加速 Mixture of Block Attention,端到端相比 FlashMoBA 实现 1.20–1.60 倍加速,并提升了 RULER 得分。

0 人收藏 0 人点赞
#sparse-attention

我发现一篇被引用了455次的MLSys论文,其实现中存在一个重大错误,导致其核心论点之一不成立 [R]

Reddit r/MachineLearning ↗ · 3天前

一篇 Reddit 帖子指出,一篇被广泛引用的 MLSys 论文(arXiv:2311.04934)未能正确实现其所声称的按块隔离的 KV 缓存处理,而是使用了完整的因果注意力机制——这使得用于支持其“输出质量不受影响”这一核心主张的实验失去了有效性。

0 人收藏 0 人点赞
#sparse-attention

迷失于少数注意力头:稀疏注意力中块选择的诊断与修复

arXiv cs.LG ↗ · 3天前 缓存

该论文分析了稀疏注意力选择器在长上下文多键检索中准确率下降的原因,识别出少数“盲区”注意力头,并表明,仅在这些头中启用全注意力(或使用 4 位评分器),就能在 InfLLM-V2、NOSA、SeerAttention-R、NSA 和 DashAttention 模型中,以极低的首 token 延迟(TTFT)开销恢复接近全注意力的准确率。

0 人收藏 0 人点赞
#sparse-attention

RISA:用于分块扩散语言模型的可恢复稀疏注意力

arXiv cs.CL ↗ · 3天前 缓存

RISA提出了一种面向块级扩散语言模型的可恢复稀疏注意力方法,通过共享读取计划与优先/恢复分层,在不改变骨干网络的情况下,在32K与128K上下文中分别实现最高2.67×和5.53×的注意力加速,同时保持可比的任务性能。

0 人收藏 0 人点赞
#sparse-attention

协同设计稀疏注意力以实现高效长上下文推理(17分钟阅读)

TLDR AI ↗ · 3天前 缓存

NVIDIA 的开发者博客介绍了一份关于协同设计模型级稀疏注意力以实现高效长上下文推理的实用入门指南,利用 FP8 内核来调优索引器设计参数,并在 128K token 上下文下比较了 token 级与块级核心注意力。

0 人收藏 0 人点赞
#sparse-attention

Embla 1(5 分钟阅读)

TLDR AI ↗ · 5天前 缓存

Sevren 推出了 Embla 1,一款针对手机优化的推理模型,可在 4 bit 下私密离线运行,在五项基准测试中平均得分 57.4,在 iPhone 18 Pro 上端到端延迟为 1.77 秒,在同等或更低延迟下超越了更大的小模型。它采用定制 MoE 架构,配备稀疏注意力、共享 K/V 缓存和内存表,并通过 QAT 及从 Qwen3.5 模型进行的多阶段蒸馏训练。

0 人收藏 0 人点赞
#sparse-attention

MMFlash:面向视觉语言模型的更快推测解码

Hugging Face Daily Papers ↗ · 2026-11-13 缓存

MMFlash 通过自适应地提高视觉依赖型词元的权重,并对长视频输入使用稀疏注意力机制,改进了多模态推测解码,实现了最高 3.58 倍的无损解码加速,性能优于 EAGLE-3 和 DFlash。

0 人收藏 0 人点赞
#sparse-attention

@NFT_Chen: 逆天了!Qwen 3.8 27B注意力层被彻底击穿了!10M超长上下文下,Prefill注意力快72.4倍、Decode快42.5倍!端到端首token延迟砍到约1/9! 闲置GPU的朋友注意了:把这个新方法丢给Claude/Codex,…

X AI KOLs Timeline ↗ · 2026-11-03 缓存

论文提出Latent Sparse Attention(LSA),通过在潜空间中对Key做层级聚类,使Query只需对聚类中心打分,从而在10M超长上下文下将Qwen3.8-27B单层注意力Prefill加速72.4倍、Decode加速42.5倍,端到端首token延迟降至约1/9,且精度基本不掉。方法包含可蒸馏的D-LSA与原生训练的N-LSA两种变体,代码与蒸馏权重已开源。

0 人收藏 0 人点赞
#sparse-attention

面向超长上下文的新型稀疏注意力方法

Reddit r/LocalLLaMA ↗ · 2026-11-02 缓存

团队发布了 Latent Sparse Attention(LSA,潜在稀疏注意力)这一开放研究成果,实现了亚二次复杂度的注意力机制,在超长上下文中达到与全注意力相当的准确率,使稀疏注意力最高提速 22.7 倍,全注意力最高提速 72.4 倍。

0 人收藏 0 人点赞
#sparse-attention

采用分层树状索引器的次二次复杂度注意力机制

arXiv cs.CL ↗ · 2026-11-02 缓存

Zyphra Research 的一篇论文介绍了 Zyphra 分层注意力(ZHA),这是一种亚二次复杂度的稀疏注意力方法,在 KV 缓存上使用分层树状索引器,可通过短程 KL 蒸馏适配预训练模型,并在上下文长度超过 100 万时展现出显著更优的扩展性。

0 人收藏 0 人点赞
#sparse-attention

双重预算约束下的稀疏文本扩散:上下文连通性与专家激活

arXiv cs.CL ↗ · 2026-11-02 缓存

一篇研究论文,将长上下文扩散的成本表述为双重预算——注意力图的边数和激活的专家数——提出了 DualBudget 稀疏专家配置,给出了图规模与计算量的界限,并通过评估展示了在最高 16K 上下文长度下的性能提升,以及相较于 DiffuSeq 降低 20% 的成本。

0 人收藏 0 人点赞
#sparse-attention

8 个智能体 × 250K 上下文,在两张 3090 显卡上并发运行(总计约 600+ token/秒)

Reddit r/LocalLLaMA ↗ · 2026-11-02

一位开发者分享了开源的 vLLM 补丁和 Triton 内核,通过将完整的 int4 KV 缓存保存在系统内存中,并利用秩为 64 的键草图在每个注意力计算步骤中仅提取约 1% 的 token,实现了在两张 RTX 3090 上并发运行 8 个上下文长度为 25 万 token 的编程智能体。据其报告,总吞吐量约为 545–790 token/秒,在 25 万 token 的上下文长度下,召回成绩为 31/32。

0 人收藏 0 人点赞
#sparse-attention

我们期待在AI模型中看到哪些令人兴奋的架构创新?

Reddit r/LocalLLaMA ↗ · 2026-10-31

一篇关于AI模型未来可能出现的架构创新的推测性讨论,包括循环Transformer、Gated Delta Net 2变体、注意力残差,以及扩散Transformer可能在不损失智能水平的前提下重新回归。

0 人收藏 0 人点赞
#sparse-attention

HyScale:扩展学习式稀疏注意力的长上下文训练规模

arXiv cs.AI ↗ · 2026-10-26

HyScale 提出了一种面向长上下文训练的学习型稀疏注意力系统,通过 HyTopK(免分数表的精确 top-k 选择)和选择重放(selection replay)技术,在 1M token 序列上将 GLM-5.1 训练速度提升至 Megatron-LM 的 2.07 倍。

0 人收藏 0 人点赞
#sparse-attention

LazyFlash:通过前向稠密、反向稀疏注意力加速长上下文微调

arXiv cs.CL ↗ · 2026-10-26

LazyFlash 提出一种前向稠密、后向稀疏的注意力机制,通过梯度感知的块稀疏化在保持模型性能的同时,实现最高 5.7x 的注意力反向加速和 1.7x 的端到端训练加速,适用于长上下文 LLM 微调。

0 人收藏 0 人点赞
#sparse-attention

MLIPS:多层索引器池共享

arXiv cs.LG ↗ · 2026-10-21 缓存

NVIDIA 研究人员提出 MLIPS,一种免训练方法,通过在稀疏注意力层之间共享生产者层的广泛候选池,在 DeepSeek-V4-Flash 上实现 1.14–1.40 倍加速和 14.8–27.4% 的 GPU 能耗降低,且精度变化极小。

0 人收藏 0 人点赞
#sparse-attention

稀疏度应由输出决定:视频扩散 Transformer 中块稀疏注意力的免训练分配

Hugging Face Daily Papers ↗ · 2026-10-21 缓存

提出 ALLOT:一种免训练的块稀疏注意力分配方法,通过细胞探测与轨迹校准在延迟预算内优化视频扩散 Transformer 各层-步的稀疏度,在 HunyuanVideo 上实现 11.8 dB PSNR 提升。

0 人收藏 0 人点赞
#sparse-attention

MiniMaxAI/MiniMax-M3.1-Flash

Hugging Face Models Trending ↗ · 2026-10-17 缓存

MiniMax-M3.1-Flash 是一个原生多模态混合专家(MoE)模型,约 428B 总参数(每 token 激活 23B),支持文本、图像和视频输入及 1M 上下文窗口,面向编码、智能体工作流、计算机使用和网络安全任务,并通过稀疏注意力、量化感知训练和 DSpark 投机解码提升推理效率。

0 人收藏 0 人点赞
#sparse-attention

用于高效长上下文解码的联合子空间稀疏注意力

arXiv cs.CL ↗ · 2026-10-15 缓存

论文提出联合子空间稀疏注意力(JSSA),通过学习共享低维查询-键子空间并设计免gather的索引注意力核,在128K上下文下实现最高6.43倍解码吞吐提升,同时保持接近全KV的精度。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈