retrieval-tasks

#retrieval-tasks

具有对数线性复杂度的块稀疏注意力机制

Hugging Face Daily Papers ↗ · 5天前缓存

本文提出了PISA，一种块稀疏注意力机制，采用金字塔Top-K选择策略以实现O(N log N)复杂度，提升长上下文语言模型的效率，在基准测试中性能相当，在检索任务上表现更优。

0 人收藏 0 人点赞