轻量级多模态LLM驱动的电力传输设备经济高效的缺陷分级

# 轻量级多模态大语言模型赋能的高性价比电力传输设备缺陷分级
Source: https://arxiv.org/html/2605.28822

###### 摘要

电力传输设备缺陷分级（DGPTE）对电能传输的稳定性至关重要。尽管现有的机器学习方法在缺陷检测方面表现出较强能力，但在更精细的缺陷分级领域中，它们在融合专家经验和应对类别不平衡方面面临困难。为了解决这一问题，本文提出了一种基于多模态大语言模型（MLLM）的新型缺陷分级框架。具体而言，该方法通过上下文学习最大化商用MLLM在DGPTE上的潜力，并获得了最优（SOTA）模型。通过向该模型发送二次请求，生成少量基于思维链的问答对（Q&A），从而有效降低了人工标注成本。然后，这些高质量且可解释的问答对被用于通过低秩自适应监督微调（SFT）来训练Qwen3-VL-8B。在三个DGPTE任务上的实验结果表明，仅对语言模型层进行微调即可获得最优性能。此外，多任务联合微调验证了仅使用一个轻量级MLLM处理多个分级任务的可行性。

## I 引言

随着工业数字化的快速发展，越来越多的智能设备被部署在日常运维中，极大地提高了生产效率。然而，工业设备在长期高强度工作中常常出现缺陷，严重缺陷有时会导致不可避免的经济损失，甚至人员伤亡。因此，在设备投运后进行定期的有效缺陷检测至关重要[1](https://arxiv.org/html/2605.28822#bib.bib1),[2](https://arxiv.org/html/2605.28822#bib.bib2),[3](https://arxiv.org/html/2605.28822#bib.bib3),[4](https://arxiv.org/html/2605.28822#bib.bib4),[5](https://arxiv.org/html/2605.28822#bib.bib5)。作为工业领域的重要组成部分，电力设备缺陷检测（DDPE）也受到了相当大的关注[6](https://arxiv.org/html/2605.28822#bib.bib6)。

近几十年来，DDPE研究取得了许多有前景的成果，主要通过两种途径进行。第一类是传统的基于物理特性的缺陷检测，通过分析设备运行期间的电压、电流和温度等物理信号，结合经验阈值和物理模型来识别缺陷[7](https://arxiv.org/html/2605.28822#bib.bib7),[8](https://arxiv.org/html/2605.28822#bib.bib8),[9](https://arxiv.org/html/2605.28822#bib.bib9)。然而，这类方法依赖于人工特征设计，对复杂工况的适应性较弱。第二类是基于数据驱动的检测方法[10](https://arxiv.org/html/2605.28822#bib.bib10),[11](https://arxiv.org/html/2605.28822#bib.bib11),[12](https://arxiv.org/html/2605.28822#bib.bib12)。基于海量监测数据和深度学习等算法，这些方法自动挖掘缺陷的潜在信息，展现出更强的检测能力。事实上，它们已逐渐成为主流研究方向，已有相当数量的基于人工智能的DDPG综述文章针对不同的电力设备完成[13](https://arxiv.org/html/2605.28822#bib.bib13),[14](https://arxiv.org/html/2605.28822#bib.bib14),[15](https://arxiv.org/html/2605.28822#bib.bib15)。

然而，数据驱动方法通常需要大规模训练数据才能达到先进性能。由于输电线路跨度大且需穿越复杂地形，电力传输设备（PTE）通常部署在高海拔、人烟稀少的山区，这使得信息采集非常困难，从而导致了电力传输设备智能缺陷检测（DDPTE）这一特定领域在早期进展缓慢。得益于通过无人机的先进输电线路巡检技术[16](https://arxiv.org/html/2605.28822#bib.bib16)，DDPTE的数据采集问题得到了解决，基于无人机图像的计算机视觉算法完成DDPTE的研究开始出现[16](https://arxiv.org/html/2605.28822#bib.bib16),[17](https://arxiv.org/html/2605.28822#bib.bib17),[18](https://arxiv.org/html/2605.28822#bib.bib18),[19](https://arxiv.org/html/2605.28822#bib.bib19),[20](https://arxiv.org/html/2605.28822#bib.bib20)。值得一提的是，这些研究所展示的先进性能是