sparse-attention

标签

Cards List
#sparse-attention

maxwell-model/Maxwell-V1-Flash

Hugging Face Models Trending ↗ · 2026-10-13 缓存

Maxwell-V1.0-Flash 是 Maxwell 团队推出的一款 35B 总参数 / 3B 激活参数的 MoE(Mixture-of-Experts)语言模型,具备 256K 上下文长度,采用 Block Sparse Attention(块稀疏注意力)、流形约束超连接(manifold-constrained hyper-connections)以及针对东南亚语言优化的多语言分词器;基于约 26T token 训练,并通过两阶段 SFT 加多分支强化学习(RL)后训练流程进行优化。

0 人收藏 0 人点赞
#sparse-attention

FreeSolo:具有零样本长度外推能力的线性时间稀疏注意力

Hugging Face Daily Papers ↗ · 2026-10-12 缓存

FreeSolo 提出了一种原生稀疏注意力机制,结合短程滑动窗口和基于长程关键点的双分支结构,实现线性时间复杂度,并在无需昂贵的长上下文微调的情况下,将零样本长度外推能力提升至 256k+ token。

0 人收藏 0 人点赞
#sparse-attention

我构建了 ALHR:一种基于树的稀疏注意力系统,在保持准确率的同时实现次平方级推理。[P]

Reddit r/MachineLearning ↗ · 2026-10-09

作者介绍了 ALHR(Adaptive Learnable Hierarchical Routing,自适应可学习分层路由),一种基于静态二叉树与可学习函数的稀疏注意力系统。在 MQAR 测试中,每个查询平均仅读取约 30 个键(相比之下稠密注意力需要读取 512 个),实现了约 35.3 倍的 KV 压缩,同时保持接近的准确率,并将推理复杂度降至 NlogN,显存占用线性扩展。

0 人收藏 0 人点赞
#sparse-attention

BioBigBird:用于生物医学文本长距离依赖处理的稀疏注意力模型

arXiv cs.CL ↗ · 2026-10-09 缓存

研究人员提出BioBigBird,一个基于稀疏注意力机制、可处理最长4096 token的双向生物医学预训练语言模型,并通过多任务学习联合优化命名实体识别(NER)和关系抽取,在BLURB基准上取得了具有竞争力的结果。

0 人收藏 0 人点赞
#sparse-attention

稀疏注意力是矩阵逼近问题,而非从一堆数值中挑大值

arXiv cs.CL ↗ · 2026-10-09 缓存

论文提出 MASA,主张稀疏注意力应被视为矩阵逼近问题而非简单挑选大的注意力值,并通过闭式打分度量每个稀疏单元对矩阵乘积误差的削减,在多种稀疏注意力方法和 LLM 上取得一致的精度提升。

0 人收藏 0 人点赞
#sparse-attention

SPIN:面向稀疏注意力的影子预测索引器

arXiv cs.LG ↗ · 2026-10-08 缓存

本文提出SPIN(Shadow Predictive Indexer),一种免训练的方法,利用历史解码迭代中的indexer分数预测重要KV块,从而跳过部分上下文评分,实现30-40%的稀疏度,在vLLM端到端服务中吞吐量最高提升14.9%,中位ITL降低13.2%。

0 人收藏 0 人点赞
#sparse-attention

MC-Sparse:解构并弥合扩散Transformer中的稠密-稀疏注意力差距

Hugging Face Daily Papers ↗ · 2026-10-05

提出 MC-Sparse,一个免训练的元缓存稀疏注意力框架,通过分析稠密-稀疏注意力差距的三大来源,在视频与3D生成中实现最高2.32倍去噪加速且几乎无质量损失。

0 人收藏 0 人点赞
#sparse-attention

Prism:面向原生2K联合视频-音频生成模型训练的动态稀疏注意力

Hugging Face Daily Papers ↗ · 2026-10-04 缓存

Prism提出一种动态稀疏注意力框架,用于在原生2K分辨率下训练联合视频-音频生成模型。该方法通过将token序列组织为时空宏区域,并结合音频-视频跨模态信号自适应地为每个区域分配注意力块的形状,实现了相比全注意力2.5倍的训练加速,同时生成质量更优。

0 人收藏 0 人点赞
#sparse-attention

Percepta 推出全新架构 Spotlight:将智能与记忆分离,让知识和技能在不改变模型权重的前提下持续增长

Reddit r/LocalLLaMA ↗ · 2026-10-02

Percepta 发布了 Spotlight——一种全新的 LLM 架构。它将固定大小的智能模块与可无限扩展、可写入的记忆相分离,使模型能够在不改动权重的情况下不断积累知识和技能,同时无论记忆规模多大,每个 token 的访问成本都保持恒定。

0 人收藏 0 人点赞
#sparse-attention

扩展注意力机制中的参数与上下文:源自 Mixture-of-Head 的原生稀疏注意力

arXiv cs.CL ↗ · 2026-10-01 缓存

北京大学研究人员提出 NAMOH,这是一种架构原生的稀疏注意力机制,每个 token 仅激活 H 个头中的 K 个,使头路由同时决定活跃参数量和可用上下文。该机制使参数扩展能够直接支撑高效的长上下文扩展,在总参数量相同的情况下优于全激活模型,同时与 GQA 及现有稀疏注意力方法保持兼容。

0 人收藏 0 人点赞
#sparse-attention

SMat-Attention:结构化长上下文序列建模

arXiv cs.AI ↗ · 2026-09-30 缓存

SMat-Attention 引入了具有可调 VC 维度的结构化因果掩码,在 softmax attention 与 linear attention 之间架起桥梁,实现了亚二次方的 prefill、常数时间的解码(缓存状态为 O(T^{1-1/d})),并在召回能力上优于 Mamba-2 和 Gated DeltaNet 等骨干网络。

0 人收藏 0 人点赞
#sparse-attention

SparseEngine:稀疏优先推理引擎

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

SparseEngine 是一个从零构建的稀疏优先推理引擎,其共享的生命周期契约使每种稀疏注意力方法都能自主控制其 KV 表示与计算。与 vLLM 相比,结合 KV 淘汰可实现超过 10 倍的吞吐量提升,并在 Agent 基准测试中带来超过 2 倍的端到端加速。

0 人收藏 0 人点赞
#sparse-attention

WorldAttention: 一个用于交互式视频世界模型的高效注意力架构

Hugging Face Daily Papers ↗ · 2026-09-28 缓存

WorldAttention 提出了一种高效的注意力架构,采用 Hybrid Sparse Attention 和 Hierarchical KV Cache,用于交互式视频世界模型,在 VBench-Long 和 InterVBench 等基准测试上实现了最先进的性能。

0 人收藏 0 人点赞
#sparse-attention

DoSA:点稀疏注意力

Hugging Face Daily Papers ↗ · 2026-09-26 缓存

论文提出 DoSA(Dots Sparse Attention),一种无损稀疏注意力方法,通过阈值证书使索引器评分计算变为条件式执行,同时保持精确的词元选择;GPU 实现较 SGLang 加速最多 2.74 倍,并在 GLM-5.2 和 DeepSeek-V3.2 上实现最高 1.94 倍的首词元时间加速。

0 人收藏 0 人点赞
#sparse-attention

FrancisRing/Prism

Hugging Face Models Trending ↗ · 2026-09-24 缓存

Prism 是一个动态稀疏注意力框架,用于以原生分辨率训练 2K 的视频-音频联合生成模型。它通过时空宏块划分与内容自适应的块形状分配,在实现 2.5 倍训练加速的同时,生成质量超越全注意力模型,由复旦大学与腾讯混元联合发布。

0 人收藏 0 人点赞
#sparse-attention

注意力路由早期稳定:循环语言模型的工作集推理

arXiv cs.CL ↗ · 2026-09-24 缓存

本文分析了循环语言模型中注意力路由的演变,并提出了WISE,一种无需训练的推理方法,该方法重用已稳定的稀疏注意力支持,以实现高达1.76倍的注意力加速,同时在多跳问答基准测试上保持性能。

0 人收藏 0 人点赞
#sparse-attention

Elastic Threshold Attention:用于长上下文解码的学习上下文稀疏性

arXiv cs.LG ↗ · 2026-09-21 缓存

Elastic Threshold Attention (ETA) 是一种可训练的稀疏注意力架构,它通过使用从查询表示中预测的动态阈值,在不降低质量的情况下提高长上下文解码速度。

0 人收藏 0 人点赞
#sparse-attention

RBS-Attention:面向长上下文大语言模型的半径约束稀疏预填充方法

arXiv cs.AI ↗ · 2026-09-21 缓存

RBS-Attention引入了一种无需训练的稀疏预填充方法,采用双分支选择来缓解长上下文LLM推理中的均值稀释问题,在H100 GPU上实现最高20.65倍加速,同时在基准测试中保持接近稠密模型的质量。

0 人收藏 0 人点赞
#sparse-attention

@peony__snow: 高达1000倍的长度外推——只需替换softmax。密集注意力在长输入上分散。ASEntmax 提供 …

X AI KOLs Timeline ↗ · 2026-09-11 缓存

本文介绍了 Adaptive-Scalable Entmax (ASEntmax),一种可学习的稀疏注意力机制,在transformers中实现高达1000倍的长度外推,提升长上下文泛化能力的同时保持短上下文性能。

0 人收藏 0 人点赞
#sparse-attention

@samsja19:我们非常看好稀疏注意力 + HiSparse,并且一直与 vLLM 团队合作

X AI KOLs Timeline ↗ · 2026-09-08 缓存

HiSparse 和稀疏注意力技术正被集成到 vLLM 中,以减少内存使用并提高并发性,从而提升强化学习的推理吞吐量。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈