neural-network-compression

本文提出了一种通过结合神经元重要性和数据感知低秩逼近来压缩大型语言模型的方法，同时采用高效的动态压缩率分配算法，性能与之前的最先进水平相当或更优。

本文提出了一种基于可控性-可观测性的框架，通过减少隐藏状态冗余来压缩深度神经网络，在MNIST和CIFAR-10数据集上实现了显著压缩，且精度损失极小。

介绍了用于压缩深度神经网络层的自动可微非线性张量网络（ADNTNs），通过小型核心张量实现高压缩比同时保持准确性。