标签
本文研究了端到端语音解析架构（Wav2tree）中中间神经网络单元的作用，提出了一种移除这些单元的简化架构，在减少12%参数的同时在ASR和解析任务上达到相当或更优的性能，并对法语、斯洛文尼亚语和Naija语进行了综合评估。
本文提出一种基于Fisher信息距离的神经网络参数剪枝新方法，在全连接网络和视觉Transformer上，在MNIST和CIFAR-10数据集上性能优于现有方法。
CutClean 是一种针对神经网络的隐私感知剪枝方法，通过在增加稀疏性的同时减少私人信息泄露，利用辅助隐私头来量化和缓解隐私风险。
本文介绍了Squeeze-Release，一种实现精确结构最小化的迭代剪枝方法。
本文提出了一种基于马尔钦科-帕斯图尔随机矩阵的深度神经网络剪枝方法，提供了理论保证，并在 ImageNet 上对 ViT 和 CNN 架构实现了高精度保持，仅需极少的微调。
OpenAI 提出了一种实用的神经网络 L₀ 正则化方法，在训练过程中促使权重精确变为零，实现网络剪枝以提高速度和泛化性能。该方法使用随机门控机制，引入硬具体分布（hard concrete distribution）使得不可微的 L₀ 范数优化能够通过梯度下降法求解。