基于多臂赌博机的深度神经网络结构化神经元剪枝

arXiv cs.LG 论文
deep-neural-networks structured-pruning multi-armed-bandits model-compression ucb1 thompson-sampling

摘要

本文提出了一种新颖的基于多臂赌博机算法的深度神经网络结构化神经元剪枝框架，并在多种任务上验证了其有效性。

arXiv:2606.07615v1 公告类型：新 摘要：深度神经网络通常包含冗余的隐藏单元。移除个别权重可以减少参数量，但非结构化稀疏性在标准密集实现中并不总是易于利用。本文开发了一种结构化剪枝框架，利用多臂赌博机（MAB）算法移除完整神经元。每个候选神经元被视为一个臂；拉动一个臂会暂时屏蔽该神经元，测量在采样小批量上的损失变化，恢复该神经元，并更新其安全移除奖励的估计。该框架支持随机策略，包括Epsilon-Greedy、Softmax、UCB1和Thompson Sampling，以及乘法权重策略，包括Hedge风格乘法权重和EXP3。我们在涵盖图像、文本和推理任务的表格分类、表格回归和深度神经网络基准上评估了该方法。使用弗里德曼检验后进行内梅尼事后检验的统计比较显示方法之间存在显著差异。在表格分类任务中，UCB1在剪枝策略中获得最高平均排名，并且优于未剪枝的神经网络。在回归任务中，UCB1获得最高平均排名，并且根据R²，与几种标准回归模型相比具有统计竞争力或更优。在深度学习任务中，UCB1和Thompson Sampling获得最强排名，并且几种MAB策略显著优于未剪枝模型、基于幅度的神经元剪枝和贪婪激活变化剪枝。结果表明，基于MAB的神经元剪枝是一种有效且计算上实用的结构化模型缩减方法。
查看原文
查看缓存全文

缓存时间: 2026/06/09 08:51 

# 深度神经网络中的结构化神经元剪枝：基于多臂老虎机方法
来源：https://arxiv.org/abs/2606.07615
查看PDF（https://arxiv.org/pdf/2606.07615）

> 摘要：深度神经网络通常包含冗余的隐藏单元。移除单个权重可以减少参数量，但非结构化稀疏性在标准密集实现中并不容易利用。本文开发了一种结构化剪枝框架，通过多臂老虎机（MAB）算法移除完整的神经元。每个候选神经元被视为一个臂；拉拽一个臂会临时屏蔽该神经元，测量在采样小批量上的损失变化，恢复该神经元，并更新其安全移除奖励的估计值。该框架支持随机策略，包括Epsilon-Greedy、Softmax、UCB1和Thompson Sampling，以及乘法权重策略，包括Hedge风格的乘法权重和EXP3。我们在表格分类、表格回归以及涵盖图像、文本和推理任务的深度神经网络基准上评估了该方法。使用Friedman检验及后续Nemenyi事后检验的统计比较显示不同方法之间存在显著差异。在表格分类任务中，UCB1在剪枝策略中获得最高平均秩，并优于未剪枝的神经网络。在回归任务中，UCB1获得最高平均秩，并且根据R^2指标，与几种标准回归模型相比具有统计上的竞争力或优越性。在深度学习任务中，UCB1和Thompson Sampling获得最强秩，且多种MAB策略显著优于未剪枝模型、基于幅度的神经元剪枝和贪婪激活变化剪枝。结果表明，基于MAB的神经元剪枝是一种有效且计算上可行的结构化模型缩减方法。

## 提交历史

来自：Salem Ameen \[查看电子邮件地址（https://arxiv.org/show-email/00c73b97/2606.07615）\] **\[v1\]** 2026年5月29日，星期五，19:56:54 UTC（1,522 KB）

相似文章

二值化神经网络的剪枝：专用框架与全局加权算法

arXiv cs.LG

本文介绍了一个基于PyTorch的框架，用于剪枝二值化神经网络，并提出了一种新颖的全局加权剪枝方法，该方法在准确率和剪枝率方面表现优异，使得在像FPGA这样的边缘硬件上进行高效部署成为可能。

浅层决策树归纳的自适应多分支方法

arXiv cs.LG

本文提出多分支神经决策树与自适应剪枝 (MBNDT)，这是一种决策树模型，通过自适应多路分裂在深度约束下提高分类准确率，在 OpenML 基准测试中取得优异性能。