sparse-decoding

EntmaxKV提出了一种面向entmax注意力的支持感知稀疏解码框架，通过利用加载页面之前的稀疏性来减少KV缓存内存流量，在长上下文基准测试中实现了显著的加速，同时保持输出质量。