block-sparse-attention

COBS 引入了一种累积量阶块稀疏注意力方法，通过使用压缩的二阶统计量改进块选择，在长上下文基准测试上实现了接近密集注意力的准确率，同时显著减少了 KV 缓存读取流量。

提出了一种不确定性门控路由器，对于截止边际不确定的查询，将选中的关键块数量加倍，从而提升长上下文语言模型中块稀疏注意力的召回率和准确率，并在多种架构上得到验证。