基于Spark框架的能源互联网电力能源大数据清洗模型

• 作者: 张艺竞 曲朝阳 王永文 赵莹
• 来源期刊: 电测与仪表
• 学科: 工学
• 关键词: 能源大数据 数据清洗 异常识别 异常修正 Spark框架
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 智能电网
• 页码范围: 39-44
• 页数: 6页
• 分类号: TK01
• 字数: 5163字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-1390.2018.02.007

摘要

对能源大数据清洗可提高能源大数据质量的正确性、完整性、一致性、可靠性.针对能源大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于Spark框架的能源能源大数据清洗模型.首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正.通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	曲朝阳	东北电力大学信息工程学院	104	1025	15.0	26.0
2	赵莹	东北电力大学信息工程学院	3	28	2.0	3.0
3	张艺竞	东北电力大学信息工程学院	1	15	1.0	1.0
4	王永文	东北电力大学信息工程学院	1	15	1.0	1.0