标签
PulseCol 提出了一种周期性刷新的列稀疏注意力方法，适用于扩散语言模型。该方法在保持模型质量的同时，实现了更高的稀疏度，并且相比 FlashAttention 获得了高达 1.95 倍的端到端加速。