neuron-pruning

GS-MoE 介绍了一种免训练的 MoE 压缩框架，通过分组子空间共享（低秩）与基于 Nyström 的神经元剪枝两条压缩轴同时削减专家参数；在 DeepSeek-MoE-16B-Base 上以 60% 参数压缩保留约 90% 的推理性能，优于 D2-MoE 的 73%。

提出JEPA-Prune框架，通过联合嵌入引导的后验神经元剪枝，在仅剪枝1.6%神经元的情况下将PII推断准确率降低最多7.4倍，同时基本保持模型效用。

TENP 提出了一种用于混合专家大语言模型的结构化剪枝框架，该框架保留重要专家，对较不重要的专家进行神经元剪枝，从而在 Qwen 和 DeepSeek 模型上实现高稀疏度且精度损失极小。