rtpurbo

来自阿里巴巴和南京大学的新论文介绍了RTPurbo，这是一种通过仅在必要处选择性应用完整注意力机制（无需重新训练模型）将百万token预填充速度相比FlashAttention-2提升最多9.36倍的方法。

RTPurbo 仅需数百步训练即可将全注意力大语言模型转化为稀疏模型，实现接近无损的准确率，并在预填充阶段最高提速 9.36 倍，解码阶段最高提速 2.01 倍。