大数据处理平台比较与分析

• 作者: 何海林 皮建勇
• 来源期刊: 微型机与应用
• 学科: 工学
• 关键词: Hadoop MapReduce HDFS Spark 弹性分布式数据集
• 年，卷（期）: 2015,（11）
• 所属期刊栏目: 综述与评论
• 页码范围: 7-9,17
• 页数: 4页
• 分类号: TP183
• 字数: 2546字
• 语种: 中文

摘要

虽然以MapReduce和Hadoop分布式系统(HDFS)为核心的Hadoop已在大规模数据密集的商业领域成功应用,但是对于多个并行操作之间重用工作数据集却表现不佳.作为对其的一种补充,本文介绍了Spark.首先介绍Hadoop的MapReduce与HDFS基本概念与设计思想,然后介绍了Spark的基本概念与思想,并且着重介绍了弹性分布式数据集RDD,并通过实验证明和分析对比了Hadoop与Spark.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	皮建勇	贵州大学计算机科学与信息学院	13	48	5.0	6.0
5	何海林	贵州大学计算机科学与信息学院	1	10	1.0	1.0