基于Hadoop的用电信息大数据计算服务及应用

• 作者: 史玉良 张建林 梁波 王相伟 程翠萍
• 来源期刊: 电网技术
• 学科: 工学
• 关键词: 用电信息采集系统 大数据 Hadoop
• 年，卷（期）: 2015,（11）
• 所属期刊栏目: 能源互联网(特约栏目主编 孙宏斌、冯庆东)
• 页码范围: 3128-3133
• 页数: 6页
• 分类号: TM73
• 字数: 4601字
• 语种: 中文
• DOI: 10.13335/j.1000-3673.pst.2015.11.017

摘要

为应对用电大数据的处理要求，基于 Hadoop 集群构建了面向用电信息采集系统大数据的处理架构和计算服务架构，对计算任务进行并行化处理，提高了用电大数据的计算效率；同时针对用电信息采集系统中大部分计算服务的计算规则复杂、存在数据依赖关系等特点，将同一计算服务内的 MapReduce 作业及及其依赖关系以有向无环图的形式进行组织，并利用依赖控制引擎进行作业运行状态的自动管理，实现作业提交时间的动态调整，达到优化作业执行效率和成功率的效果。实验结果证明，所提方法高效可行，计算服务性能高，能够适应用电大数据的实时处理要求。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	史玉良	山东大学计算机科学与技术学院	21	417	10.0	20.0
2	梁波		79	146	6.0	11.0
3	王相伟		8	69	3.0	8.0
4	张建林	山东大学计算机科学与技术学院	1	45	1.0	1.0
5	程翠萍	山东大学计算机科学与技术学院	1	45	1.0	1.0