面向工业物联网设备端大语言模型推理的级联多粒度剪枝

arXiv cs.CL 论文
llm-pruning structured-pruning edge-inference model-compression industrial-iot transformer-architectures

摘要

本文提出了一种级联多粒度剪枝框架，用于在工业物联网边缘设备上部署大语言模型，在MHA+GELU架构上实现了高达13.8倍的压缩，且精度损失极小，同时揭示了GQA+SwiGLU设计上的性能崩溃。

arXiv:2606.26861v1 公告类型：新 摘要：在工业物联网（IIoT）边缘设备上部署大语言模型（LLM）需要极致的压缩，然而现有的结构化剪枝方法由于一次性重要性估计而在高压缩比下崩溃，且其跨架构行为仍然不可预测。本文提出了一种级联多粒度剪枝框架，以从粗到细的顺序移除层、注意力头和前馈通道，并在阶段之间进行轻量级低秩恢复以重新估计组件重要性。信息论分析支持了这一顺序，并将结构独立性假设（SIA）形式化为一个可检查的条件，用于预测每个组件的剪枝准则在给定架构上是否可靠：多头注意力（MHA）+GELU设计满足SIA，而分组查询注意力（GQA）+SwiGLU设计违反SIA。在参数规模从88M到6.25B的轴承故障诊断模型上，该框架在MHA+GELU架构上实现了高达13.8倍的压缩，准确率达到83.82%（比最强基线高出3.70个百分点），同时揭示了违反SIA的GQA+SwiGLU架构上约74个百分点的准确率崩溃。在配备NVIDIA DGX Spark的工业回转支承故障诊断平台上部署后，压缩模型将推理延迟降低了高达67.2%，峰值内存降低了62.5%，证明了在IIoT边缘推理中的可行性。
查看原文
查看缓存全文

缓存时间: 2026/06/26 05:19 

# 用于工业物联网设备端大模型推理的级联多粒度剪枝
来源：https://arxiv.org/abs/2606.26861
查看PDF（https://arxiv.org/pdf/2606.26861）

> 摘要：在工业物联网（IIoT）边缘设备上部署大语言模型（LLMs）需要极高的压缩率，然而现有结构化剪枝方法因采用一次性重要性估计而在高压缩比下失效，且其跨架构行为仍难以预测。本文提出一种级联多粒度剪枝框架，按照从粗到细的顺序移除层、注意力头和前馈通道，并在各阶段之间加入轻量级低秩恢复以重新估计组件重要性。这一排序源于信息论分析，同时正式定义了结构独立性假设（SIA）作为可检查条件，用于预测按组件剪枝标准对特定架构是否可靠：多头注意力（MHA）加GELU的设计满足SIA，而分组查询注意力（GQA）加SwiGLU的设计则违反该假设。在覆盖88M至6.25B参数模型的轴承故障诊断任务上，该框架在MHA+GELU架构上将可实现压缩率提升至13.8倍，准确率达83.82%（比最强基线高出3.70个百分点），同时暴露出违反SIA的GQA+SwiGLU架构存在约74个百分点的准确率崩溃。当部署于配备NVIDIA DGX Spark的工业回转支承轴承故障诊断平台时，压缩模型将推理时延降低高达67.2%，峰值内存减少62.5%，展示了其在IIoT边缘推理中的可行性。

## 提交历史

来自：Jinghan Wang \[查看邮件 (https://arxiv.org/show-email/7a38e432/2606.26861)\] **\[v1\]**2026年6月25日星期四 10:44:48 UTC（1,559 KB）

相似文章

利用移动NPU的高效端侧扩散大语言模型推理

arXiv cs.LG

本文提出了llada.cpp，一种NPU感知推理框架，用于在智能手机上加速扩散大语言模型（dLLM）。它引入了三种技术——Multi-Block Speculative Decoding、Dual-Path Progressive Revision和Swap-Optimized Memory Runtime——以使dLLM推理与移动NPU特性对齐，实现了相比CPU基线17-42倍的延迟降低。