智能电网环境下电能计量大数据智能多维分析

• 作者: 严绍奎 田瑞 张翔
• 来源期刊: 信息技术
• 关键词: 大数据技术 电能计量 Spark技术 ETL技术 多维分析
• 年，卷（期）: 2021,（4）
• 所属期刊栏目: 研究与探讨|RESEARCH AND DISCUSSION
• 页码范围: 90-96
• 页数: 7页
• 分类号: TM73
• 语种: 中文
• DOI: 10.13274/j.cnki.hdzj.2021.04.017

摘要

针对目前现有的电能计量数据分析系统处理效率低下、计算周期过长和性能差等问题,设计出一套基于大数据技术的计量装置智能多维分析系统.该系统SQL分析通过Spark SQL实现,来弥补复杂HQL转换成Map Reduce任务后计算时间长的问题;数据采集预处理方面采用基于合区聚合法ETL技术,解决了传统ETL技术处理效率差的问题;多维分析方面则采用基于关联规则的What-if分析方法,解决了传统多维分析性能差的问题.实验表明,该方案具有效率高、编程简单、易操作、性能好等优点,保证了电能计量数据分析系统稳定性.