layer-wise-sparsity

本文提出了一种用于大语言模型逐层稀疏性的层间扰动吸收视角，表明不同层对剪枝扰动表现出异质性响应，并引入了一种吸收感知校正方法，通过降低困惑度和提升准确率来改进现有剪枝方法。