attention-sparsity

介绍了 Faster Flash Decoding (FFD)，这是一个无需训练的硬件-算法协同设计框架，通过利用注意力稀疏性加速 LLMs 中的长上下文解码，实现了高达 11.6 倍的加速，并可扩展至 256K 上下文长度。