MapReduce与Spark用于大数据分析之比较

• 作者: 吴信东 嵇圣硙
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 大数据 MapReduce Spark 迭代问题 非迭代问题
• 年，卷（期）: 2018,（6）
• 所属期刊栏目: 数据库技术
• 页码范围: 1770-1791
• 页数: 22页
• 分类号: TP311
• 字数: 15705字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005557

摘要

评述了MapReduce与Spark两种大数据计算算法和架构,从背景、原理以及应用场景进行分析和比较,并对两种算法各自优点以及相应的限制做出了总结.当处理非迭代问题时,MapReduce凭借其自身的任务调度策略和shuffle机制,在中间数据传输数量以及文件数目方面的性能要优于Spark;而在处理迭代问题和一些低延迟问题时,Spark可以根据数据之间的依赖关系对任务进行更合理的划分,相较于MapReduce,有效地减少了中间数据传输数量与同步次数,提高了系统的运行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	嵇圣硙	合肥工业大学计算机与信息学院	1	40	1.0	1.0