大数据处理统一引擎Apache Spark研究

• 作者: 张琴
• 来源期刊: 现代制造技术与装备
• 关键词: Spark MapReduce 大数据 RDD
• 年，卷（期）: 2017,（8）
• 所属期刊栏目: 行业交流
• 页码范围: 184-185,187
• 页数: 3页
• 字数: 1731字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-5587.2017.08.090

摘要

Apache Spark是当前流行的大数据处理统一引擎,具有通用、高效、易用等特点.Apache Spark是针对MapReduce在交互式数据挖掘、迭代式算法、机器学习等应用的低效率而提出的一种可同时进行批处理、交互式计算、流式计算的内存式计算框架.本文介绍了MapReduce的基本概念与设计思想,并与Spark进行对比分析,着重介绍了Spark的核心技术DAG和RDD,最后给出相关的编程示例.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张琴		4	7	1.0	2.0