标签
本文提出了一种新颖的基于多臂赌博机算法的深度神经网络结构化神经元剪枝框架,并在多种任务上验证了其有效性。
提出KOFF框架,利用结构化剪枝和LoRA适配器将预训练大语言模型分解为稀疏共享骨干网络与领域特定外部记忆,实现12%稀疏度且无明显性能损失。