论文页面 - SQS: 通过稀疏量化子分布实现的贝叶斯DNN压缩

来源: https://huggingface.co/papers/2510.08999

摘要

一个统一的贝叶斯变分框架结合了尖峰-平板稀疏性和高斯混合量化，以最小的精度损失实现了对大规模神经网络的高压缩率。

压缩大规模神经网络对于在资源受限设备上部署模型至关重要。大多数现有方法单独采用权重剪枝 (https://huggingface.co/papers?q=pruning) 或低比特量化 (https://huggingface.co/papers?q=low-bit%20quantization)，通常为了保持可接受的性能下降而导致压缩率次优。我们引入了一个统一的框架，通过贝叶斯变分学习 (https://huggingface.co/papers?q=Bayesian%20variational%20learning) (\method) 同时进行剪枝 (https://huggingface.co/papers?q=pruning) 和低比特量化 (https://huggingface.co/papers?q=low-bit%20quantization)，该框架在保持相当性能的同时，实现了比先前基线更高的压缩率。关键思想是采用尖峰-平板先验 (https://huggingface.co/papers?q=spike-and-slab%20prior) 来诱导稀疏性，并使用高斯混合模型 (https://huggingface.co/papers?q=Gaussian%20Mixture%20Models) (GMMs) 对量化权重进行建模，以实现低比特精度。由于目标函数涉及尖峰-平板先验 (https://huggingface.co/papers?q=spike-and-slab%20prior) 和GMM的难以处理性，我们推导了一种有效的近似方法，从而促进以最小的精度损失进行有效压缩。理论上，我们为所提出的针对稀疏和量化深度神经网络 (https://huggingface.co/papers?q=sparse%20and%20quantized%20deep%20neural%20network) 的变分方法提供了一致性结果。在压缩ResNet、BERT-base、Llama3.2和Qwen2.5模型的大量实验中，我们的方法在性能损失相当的情况下，实现了比一系列现有方法更高的压缩率。项目页面：https://comeusr.github.io/SQS_Webpage\。

查看arXiv页面 (https://arxiv.org/abs/2510.08999)查看PDF (https://arxiv.org/pdf/2510.08999)项目页面 (https://comeusr.github.io/SQS_Webpage/)GitHub0 (https://github.com/comeusr/SQS_TMLR)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2510.08999)

在您的代理中获取此论文：

hf papers read 2510\.08999

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接此论文

在模型README.md中引用arxiv.org/abs/2510.08999，以从此页面链接它。

引用此论文的数据集0

没有数据集链接此论文

在数据集README.md中引用arxiv.org/abs/2510.08999，以从此页面链接它。

引用此论文的Spaces0

没有Space链接此论文

在Space README.md中引用arxiv.org/abs/2510.08999，以从此页面链接它。

包含此论文的收藏集0

没有包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection)以从此页面链接它。