基于hadoop云平台的智能电网MapReduce数据计算技术研究

• 作者: 周来 孟祥萍 王晖 纪秀
• 来源期刊: 电测与仪表
• 学科: 工学
• 关键词: 智能电网 数据计算 hadoop mapreduce
• 年，卷（期）: 2015,（10）
• 页码范围: 66-72
• 页数: 7页
• 分类号: TM73
• 字数: 5121字
• 语种: 中文

摘要

为应对未来智能电网海量数据信息带来的实时计算、分析等难题，文章首先在Hadoop云计算平台基础上搭建MapReduce框架，论证了其良好的数据计算性能，并通过实验发现MapReduce在进一步提高计算效率方面的诸多问题———任务调度不均、数据偏移、异构环境下适应性差等。随后考虑MapReduce原始调度方式的弊端并给出均衡数据映射、评估节点性能的MapReduce 架构改进方案，并提出了动态匹配的调度算法（ DM-SA———Dynamic Matching Scheduling Algorithm），最后通过在仿真平台上的集群实验，减少了系统计算资源的消耗，缩短了运行时间，显著地提高了集群性能，同时增强了数据本地性，证明了该策略提高MapReduce计算效率的可行性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孟祥萍	长春工程学院电气与信息工程学院	83	832	15.0	23.0
3	纪秀	长春工程学院电气与信息工程学院	27	135	6.0	10.0
5	王晖	长春工程学院电气与信息工程学院	5	48	3.0	5.0
11	周来	东北电力大学信息工程学院	6	80	5.0	6.0