n:m-sparsity

本文提出了一种面向N:M稀疏视觉Transformer推理的软硬件协同设计框架，通过一种新颖的CUDA内核（MD-SpMM）和部署感知的稀疏性搜索，在保持准确性的同时，在GPU上实现了超过2.2倍的延迟加速。