基于Spark框架的电力大数据清洗模型

• 作者: 王冲 邹潇
• 来源期刊: 电测与仪表
• 学科: 工学
• 关键词: 电力大数据 数据清洗 异常识别 异常修正 Spark框架
• 年，卷（期）: 2017,（14）
• 所属期刊栏目: 智能电网
• 页码范围: 33-38
• 页数: 6页
• 分类号: TM93
• 字数: 5330字
• 语种: 中文

摘要

针对电力大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于Spark框架的电力大数据清洗模型.首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正.通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王冲		9	52	4.0	7.0
2	邹潇	兰州大学数学与统计学院	1	10	1.0	1.0