采用Map-Reduce模型的海量电能质量数据交换格式文件快速解析方案

• 作者: 张逸 曲广龙 杨洪耕
• 来源期刊: 电网技术
• 学科: 工学
• 关键词: 电能质量 PQDIF文件 Map-Reduce模型 海量数据解析 Hadoop
• 年，卷（期）: 2014,（6）
• 所属期刊栏目: 电能质量
• 页码范围: 1705-1711
• 页数: 7页
• 分类号: TM721
• 字数: 6708字
• 语种: 中文
• DOI: 10.13335/j.1000-3673.pst.2014.06.045

摘要

针对现有方案对电能质量监测系统中海量PQDIF文件解析效率低、解析时间长等问题,研究实现了一种基于集群计算架构的海量PQDIF文件快速解析方案.通过Map-Reduce模型来实现海量PQDIF文件的快速并行解析.Map-Reduce模型将数据集的大规模操作任务拆分成若干子任务分配给网络上的每一个计算节点(如PC机),实现多计算节点共同协调处理任务,达到提高运行效率的目的.方案采用Java和C++编写,在异构平台间具有较强的可移植性,并且可以通过增加计算节点来提高解析效率,具有较强的可扩展性.通过对海量PQDIF文件进行解析测试,结果表明该方案可以显著提高文件解析效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨洪耕	四川大学电气信息学院	298	4720	34.0	55.0
2	张逸	国网福建省电力有限公司电力科学研究院	34	684	12.0	25.0
3	曲广龙	四川大学电气信息学院	9	144	6.0	9.0