attention-speedup

来自阿里巴巴和南京大学的新论文介绍了RTPurbo，这是一种通过仅在必要处选择性应用完整注意力机制（无需重新训练模型）将百万token预填充速度相比FlashAttention-2提升最多9.36倍的方法。