大数据处理模型Apache Spark研究

• 作者: 黎文阳
• 来源期刊: 现代计算机：中旬刊
• 学科: 工学
• 关键词: SPARK HADOOP MAPREDUCE 大数据 数据分析
• 年，卷（期）: 2015,（3）
• 页码范围: 55-60
• 页数: 6页
• 分类号: TP393.4

摘要

Apache Spark是当前流行的大数据处理模型,具有快速、通用、简单等特点。Spark是针对Map Reduce在迭代式机器学习算法和交互式数据挖掘等应用方面的低效率,而提出的新的内存计算框架,既保留了Map Reduce的可扩展性、容错性、兼容性,又弥补了Map Reduce在这些应用上的不足。由于采用基于内存的集群计算,所以Spark在这些应用上比Map Reduce快100倍。介绍Spark的基本概念、组成部分、部署模式,分析Spark的核心内容与编程模型,给出相关的编程示例。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黎文阳	四川大学计算机学院	3	78	1.0	3.0