ODPS平台下的电力设备监测大数据存储与并行处理方法

• 作者: 宋亚奇 朱永利 李莉 王刘旺
• 来源期刊: 电工技术学报
• 学科: 工学
• 关键词: 电力大数据 公有云 开放数据处理服务 扩展MapReduce模型 局部放电 局部放电相位图谱分析
• 年，卷（期）: 2017,（9）
• 所属期刊栏目: 电力系统及其自动化
• 页码范围: 199-210
• 页数: 12页
• 分类号: TM764
• 字数: 7774字
• 语种: 中文

摘要

计算性能是制约电力大数据应用(基于大数据的故障诊断、预测等)的关键问题.利用分布式存储、并行计算加速此类数据密集型应用是目前较有效的手段.尝试利用阿里云开放数据处理服务(ODPS)存储并加速电力设备监测大数据分析过程.以变压器局部放电(PD)数据相位图谱分析(PRPD)为例,提出了适合高采样率、时序性强的局部放电信号数据存储方法.采用ODPS扩展MapReduce模型(MR2)设计了“Map-Reduce-Reduce”方式的PD信号宏观特征提取方法,提出了并行化PRPD分析算法(ODPS-PRPD),实现了大量PD信号的并行基本参数提取、统计特征计算与放电类型识别.在实验室中构造了4种放电模型并采集了大量PD信号,分别在ODPS平台上和实验室自建的Hadoop平台上进行了性能评估和成本分析.实验分析和结果表明,ODPS-PRPD将大量的中间过程数据(PD谱图数据等)一直保存在内存中,相比自建Hadoop MapReduce平台性能明显提升,并在数据可靠性、服务可用性以及成本方面具有明显优势.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	朱永利	华北电力大学控制与计算机工程学院	268	5516	39.0	62.0
2	李莉	华北电力大学控制与计算机工程学院	65	688	14.0	24.0
3	宋亚奇	华北电力大学控制与计算机工程学院	17	1166	9.0	17.0
4	王刘旺	华北电力大学控制与计算机工程学院	11	374	7.0	11.0