基于hadoop平台海量数据的快速查询与实现

• 作者: 何坤鹏 张林 褚福银
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: HADOOP Hive SPARK 查询 海量数据
• 年，卷（期）: 2016,（7X）
• 页码范围: 3-5
• 页数: 3页
• 分类号: TP31

摘要

随着互联网技术的发展,人类产生的数据量正在呈指数级增长,Hadoop作为大数据领域的常用工具,在现代生活中发挥着至关重要的作用。Hive是基于Hadoop的一个数据仓库工具,在做查询统计分析时最终翻译成Hadoop平台上的MapReduce程序运行,当数据量不断增大时,就会使得查询效率[5]下降。该文就此提出了一种Hive与Spark结合的方案,将Hive的查询作为Spark的任务提交到Spark集群上进行计算,利用Spark的特性提高Hive查询性能。该研究首先理论阐述了Hive与Spark各自的工作机制,然后介绍HiveSpark原理,最后通过做实验,对实验结果进行对比,分析,从而验证HiveSpark提高了查询效率,对大规模数据处理具有一定参考意义。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张林	西南石油大学计算机科学学院	40	266	9.0	15.0
2	何坤鹏	西南石油大学计算机科学学院	4	5	1.0	2.0
3	褚福银	西南石油大学计算机科学学院	4	5	1.0	2.0