Spark和Shark的大数据技术在供电企业的应用研究

• 作者: 李爱民 梁国辉 熊道勇 陈承志 龙庆麟
• 来源期刊: 中国电业（技术版）
• 关键词: Spark Shark 大数据 RDD
• 年，卷（期）: 2014,（11）
• 所属期刊栏目: 电力信息化
• 页码范围: 81-82
• 页数: 2页
• 字数: 1530字
• 语种: 中文

摘要

随着电力信息化的深入发展及移动互联网的普及,电力业务的数据结构日益复杂,数据规模呈现海量增长趋势,使得原有基于传统关系型数据库的数据处理平台出现严重的瓶颈,处理能力越来越难以满足日常的生产管理和经营决策的需求.文章通过采用基于内存计算的Spark,替代Hadoop中低效的MapReduce,并借助基于Spark之上的Shark,构建一个Hadoop+Spark+Hive+Shark海量数据高效的处理平台,相对于传统的关系型数据库和Hadoop处理平台,性能提高了20倍以上,完全满足了电力生产的性能需求.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	龙庆麟		3	5	2.0	2.0
2	梁国辉		2	3	1.0	1.0
3	陈承志		4	11	2.0	3.0
4	李爱民		2	1	1.0	1.0
5	熊道勇		1	1	1.0	1.0