gated-sparse-attention

标签

#gated-sparse-attention

SAS：通过端到端优化上下文排序实现简单注意力稀疏化

Hugging Face Daily Papers ↗ · 2026-09-11 缓存

SAS 引入了一种门控稀疏注意力机制，该机制通过语言建模损失端到端优化上下文排序，在紧凑注意力预算下提升推理和长上下文任务的性能。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈