标签
AB-Attention提出一种免训练的块稀疏注意力方法，通过块内聚类选择、包含概率加权采样和细粒度核收集来近似稠密注意力，在Wan2.1和HunyuanVideo上跳过89-92%注意力计算，同时PSNR提升最高4.4dB，端到端加速最高2.23倍。
FlashSinkhorn 2 提出了一种两阶段块稀疏 GPU 求解器，用于求解熵正则化最优传输（EOT）问题，可扩展至 1.34e8 个粒子的点云。在单块 A100 上，可在 2.5 小时内将边缘残差降至 0.01 以下——据称这是在数小时内在该精度下求解的最大离散 EOT 问题。该项目已发布开源实现。
本文研究了固定块稀疏因果注意力中序列局部性与注意力图可达性之间的不匹配，形式化了边界伪影，并提出了诊断覆盖函数和一种名为边界桥注意力的最小修复方法。
Llama Surgery 将学习到的块稀疏注意力拓扑注入预训练的 Llama 3.1 8B 中，无需从头重新训练，使用带有 Gumbel-Softmax 路由、温度退火和直通估计器的动态拓扑路由器以避免梯度崩溃，实现稳定收敛和连贯输出。
本文介绍了动态超度量注意力（Dynamic Ultrametric Attention），这是一个框架，其中Transformer在训练期间学习每头块稀疏路由拓扑，然后在推理时将这些拓扑卸载到自定义的Triton块稀疏内核上，与密集注意力相比，实现了高达28倍的加速和98.4%的内存减少。
OpenAI 发布 block-sparse GPU kernels，这是一款用于在 GPU 上进行高效稀疏矩阵乘法的工具，可以减少神经网络操作的计算量和内存占用。