标签
提出了SparseDecoding，一种面向解码阶段的训练无关剪枝框架，通过在自回归生成时收集校准数据对齐Hessian分布，并开发优化的N:M稀疏矩阵向量核，在A100上实现最高1.48倍端到端解码加速。
本文提出了一种特征主码本布局，用于内存高效的稀疏二进制自组织映射，使得在单个GPU上训练多达105万神经元的大规模映射成为可能，并在MEDLINE数据上实现了显著的加速。