基于知识蒸馏和半监督学习的非侵入式负荷分解

• 作者: 何健明 李梦诗 张禄亮 季天瑶
• 来源期刊: 广东电力
• 关键词: 非侵入式负荷监测 知识蒸馏 半监督学习 深度学习 双向门控循环单元 自注意力机制
• 年，卷（期）: 2021,（9）
• 所属期刊栏目: 电网运行与控制|Power Grid Operation & Control
• 页码范围: 60-70
• 页数: 11页
• 分类号: TM714
• 语种: 中文
• DOI: 10.3969/j.issn.1007-290X.2021.009.008

摘要

非侵入式负荷监测(non-intrusive load monitoring,NILM)中的负荷分解是一种将负荷总功率分解为各类负荷功率的技术;随着深度学习理论的发展,基于神经网络的负荷分解模型的误差逐渐降低,同时也带来了模型参数量大幅增加的问题.为了降低模型分解功率的误差,提出一种基于序列到序列(sequence to sequence,seq2seq)、双向门控循环单元(bi-directional gating recurrent unit,BiGRU)、自注意力机制和残差网络的负荷分解算法;为了减少神经网络的参数并充分利用无标签数据,提出一种基于知识蒸馏和半监督学习的训练框架;无标签数据经由预训练的教师网络处理,得到时序概率分布,用于指导学生网络的训练.在开源数据集REFIT上进行的模型性能测试结果表明,学生网络参数量仅为教师网络参数量的6.7％,平均绝对误差仅增加5.8％.