Squeeze-Release: 迭代剪枝与精确结构最小化

Hugging Face Daily Papers 论文
iterative-pruning model-compression structural-minimization neural-network-pruning

摘要

本文介绍了Squeeze-Release，一种实现精确结构最小化的迭代剪枝方法。

非结构化剪枝会产生稀疏权重张量，但标准实现保持张量形状不变，因此部署后的模型并不比剪枝前更小。我们提出了一种精确的结构重写方法，称为最小化，它可以将掩码网络转换为一个更小的密集网络，且其前向函数在浮点数舍入误差范围内保持一致。Squeeze-Release循环迭代进行剪枝和最小化，其中间有一个释放步骤，将压缩张量中精确为零的位置重新启用为小的校准噪声，从而将原本浪费的容量重新转化为可训练参数。连续的循环利用该容量来发现单次剪枝无法触及的结构冗余。此外，我们引入了CompensatedLayerNorm，这是一种保持功能的LayerNorm替代方案，可将最小化扩展到具有LayerNorm的残差流中的通道缩减。在保持相当精度的情况下，Squeeze-Release将全连接模型网络的可部署网络缩小了39倍，在现代CNN（ConvNeXt-Tiny）上缩小了14.8倍。此外，我们证明了该重写方法可以扩展到Transformer架构。
查看原文
查看缓存全文

缓存时间: 2026/06/15 16:59

论文页面 - Squeeze-Release: 基于精确结构最小化的迭代剪枝

来源：https://huggingface.co/papers/2606.14346

在你的代理中获取此论文：

hf papers read 2606\.14346

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用该论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2606.14346，以便从此页面链接。

引用该论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.14346，以便从此页面链接。

引用该论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2606.14346，以便从此页面链接。

包含该论文的收藏集 0

没有收藏集包含此论文

将这篇论文添加到收藏集 (https://huggingface.co/new-collection)，即可从此页面链接。

相似文章

SlimQwen：探索大规模MoE模型预训练中的剪枝与蒸馏

Hugging Face Daily Papers

本文探讨了在预训练阶段压缩大规模混合专家（MoE）模型的结构化剪枝和知识蒸馏技术。研究表明，渐进式剪枝以及结合多标记预测蒸馏等策略，能够提升下游任务的性能。例如，通过将Qwen3-Next-80A3B压缩为更高效的23A2B模型，展示了这一方法的有效性。

基于半监督伪标签的标签高效数据集剪枝

arXiv cs.LG

SemiPrune 是一种标签高效的数据集剪枝框架，它利用半监督学习从少量标注子集中生成伪标签，使得现有的监督剪枝方法能够处理未标注数据。在领域特定、图像损坏和长尾数据集上，它达到了最先进的性能。