标签
提出了SparseDecoding，一种面向解码阶段的训练无关剪枝框架，通过在自回归生成时收集校准数据对齐Hessian分布，并开发优化的N:M稀疏矩阵向量核，在A100上实现最高1.48倍端到端解码加速。