基于动态监督知识蒸馏的输电线路螺栓缺陷图像分类

• 作者: 赵振兵 金超熊 戚银城 张珂 孔英会
• 来源期刊: 高电压技术
• 关键词: 螺栓缺陷分类 大模型 小模型 知识蒸馏 自适应加权 注意力转移
• 年，卷（期）: 2021,（2）
• 所属期刊栏目: 人工智能物联网技术在输配电领域的应用专题|Special Issue on Applications of Artificial Intelligence and the Internet of Things in Power Transmission and Distribution
• 页码范围: 406-414
• 页数: 9页
• 语种: 中文
• DOI: 10.13336/j.1003-6520.hve.20200834

摘要

螺栓是输电线路中广泛存在的紧固件,其缺陷图像具有类内差异性小、类间差异性大的特性.针对复杂度高且性能优秀的大模型在分析螺栓缺陷图像消耗大量计算资源的问题,将知识蒸馏技术引入到输电线路螺栓缺陷图像分类中,提出了一种基于动态监督知识蒸馏的输电线路螺栓缺陷图像分类方法:在网络输出层采用自适应加权方法,提高小模型学习螺栓缺陷标签的准确性;在网络隐藏层进行注意力转移,提高小模型螺栓特征的表达能力;将网络输出层的自适应加权方法与网络隐藏层的注意力转移机制相结合,以充分提高小模型的螺栓缺陷分类能力.最后通过自建螺栓缺陷图像分类数据集验证了大模型利用所提蒸馏方法指导小模型训练的有效性,实验结果表明:小模型的分类准确率提高了2.17％,小模型与大模型的分类准确率只差0.63％,且小模型的参数量仅为大模型参数量的7.8％.研究实现了螺栓缺陷的高效分类,达到了精度与资源消耗的平衡.