使用多臂老虎机进行卷积神经网络中损失感知的特征图剪枝

arXiv cs.AI 论文
cnn pruning multi-armed-bandits loss-aware feature-map-pruning

摘要

本文介绍了一种使用多臂老虎机（UCB1和Thompson采样）进行卷积神经网络损失感知的特征图剪枝框架，选择性移除冗余特征图，在降低计算成本的同时保持准确率。

arXiv:2607.22564v1 公告类型：新 摘要：卷积神经网络通常包含冗余特征图，这增加了存储和推理成本。本文提出了一种使用多臂老虎机的损失感知特征图剪枝框架。特征图剪枝是结构化的，因为它移除的是完整的卷积输出通道及其生成滤波器，而非孤立的标量权重。每个候选特征图被视为一个臂。每次运行时，临时屏蔽一个特征图，并在采样的迷你批次上进行评估；随后恢复该特征图，并将观察到的损失变化转换为安全移除奖励。在固定的运行预算后，候选特征图根据学习到的分数进行排序，并永久移除前k个特征图及其滤波器、偏置和对应的下一层输入通道核。本研究评估了UCB1和Thompson采样，在LeNet/MNIST上将其与直接/神谕式评估进行比较，并将评估扩展到MNIST、CIFAR-10、CIFAR-100、SVHN、CUB-200-2011和Oxford Flowers 102。结果表明，UCB1和Thompson采样在移除特征图并减少卷积计算的同时，保持了与未剪枝模型相近的准确率。Friedman和Nemenyi检验表明，UCB1获得了最高的平均排名，其次是Thompson采样；两者均显著优于贪婪和基于幅度的剪枝，同时在统计上与原始未剪枝模型相当。
查看原文
查看缓存全文

缓存时间: 2026/07/28 06:24 

# 基于多臂老虎机的卷积神经网络损失感知特征图剪枝
来源：https://arxiv.org/abs/2607.22564
查看 PDF（https://arxiv.org/pdf/2607.22564）

> **摘要**：卷积神经网络通常包含冗余特征图，这会增加存储和推理成本。本文提出了一种基于多臂老虎机的损失感知特征图剪枝框架。特征图剪枝属于结构化剪枝，因为它移除的是完整的卷积输出通道及其对应的生成滤波器，而非孤立的标量权重。每个候选特征图被视为一个臂。每次选择时，一个特征图被临时屏蔽并在采样的微批次上进行评估；之后该特征图被恢复，观察到的损失变化被转换为安全移除奖励。在固定的选择预算后，候选特征图根据学习到的分数进行排名，排名靠前的 k 个特征图及其滤波器、偏置以及下一层对应的输入通道核将被永久移除。本研究评估了 UCB1 和 Thompson Sampling，在 LeNet/MNIST 上将其与直接/理想化评估方法进行比较，并将评估扩展到 MNIST、CIFAR-10、CIFAR-100、SVHN、CUB-200-2011 和 Oxford Flowers 102。结果表明，UCB1 和 Thompson Sampling 在移除特征图并减少卷积计算量的同时，保持了接近未剪枝模型的精度。Friedman 和 Nemenyi 检验显示，UCB1 获得了最高平均排名，其次是 Thompson Sampling；两者均显著优于贪心剪枝和基于幅度剪枝的方法，同时与原始未剪枝模型在统计上无显著差异。

## 提交历史

来自：Salem Ameen \[查看邮件（https://arxiv.org/show-email/4f89522d/2607.22564）\] **\[v1\]** 2026年5月29日星期五 20:03:08 UTC（560 KB）

相似文章

二值化神经网络的剪枝：专用框架与全局加权算法

arXiv cs.LG

本文介绍了一个基于PyTorch的框架，用于剪枝二值化神经网络，并提出了一种新颖的全局加权剪枝方法，该方法在准确率和剪枝率方面表现优异，使得在像FPGA这样的边缘硬件上进行高效部署成为可能。

一种用于视觉令牌剪枝的AI4AI框架

Hugging Face Daily Papers

AutoPrune是一个无需训练的框架，利用大语言模型（LLMs）通过领域特定语言和残差搜索自动为多模态大语言模型设计视觉令牌剪枝策略，以极小的性能损失实现高效率（在移除94.4%视觉令牌的同时保留99%的性能）。