基于Hadoop的广域测量系统数据处理

• 作者: 张士林 曲朝阳 朱莉
• 来源期刊: 电力系统自动化
• 关键词: 云计算 数据处理 广域测量系统 MapReduce
• 年，卷（期）: 2013,（4）
• 所属期刊栏目: 研制与开发
• 页码范围: 92-97
• 页数: 6页
• 字数: 5877字
• 语种: 中文
• DOI: 10.7500/AEPS201111169

摘要

为解决目前广域测量系统(WAMS)海量数据处理中存在的数据冗余、处理效率低等问题,设计并实现了一个基于Hadoop的WAMS数据处理云计算平台.首先,给出了平台的体系结构.其次,设计了基于Hadoop分布式文件系统(HDFS)存储的WAMS海量数据加载方法和利用MapReduce模型实现多个文件数据的并行抽取、转换和加载(ETL)操作流程.提出了结合MapReduce的MPApriori数据挖掘算法,用于高效地挖掘出连锁故障时各站点之间的相互影响.最后,通过对区域电网WAMS实际数据进行处理,验证了Hadoop处理海量数据的高效性.所述平台适用于高性能局域网络连接的计算机集群对海量电网数据进行文件数据处理.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	曲朝阳	东北电力大学信息工程学院	104	1025	15.0	26.0
2	朱莉	东北电力大学信息工程学院	4	188	2.0	4.0
3	张士林	东北电力大学信息工程学院	1	81	1.0	1.0