MapReduce大数据处理平台与算法研究进展

• 作者: 于戈 孙宗哲 宋杰 毛克明 鲍玉斌
• 来源期刊: 软件学报
• 学科: 工学
• 关键词: 大数据 MapReduce 外存算法 大数据处理 算法性能优化
• 年，卷（期）: 2017,（3）
• 所属期刊栏目: 大数据管理技术专刊
• 页码范围: 514-543
• 页数: 30页
• 分类号: TP311
• 字数: 25808字
• 语种: 中文
• DOI: 10.13328/j.cnki.jos.005169

摘要

综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展.首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象其共性;随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法,将这些算法按照MapReduce实现方式分类,分析影响算法性能的因素;最后,将大数据处理算法抽象为外存算法,并对外存算法的特征加以梳理,提出了普适的外存算法性能优化方法的研究思路和问题,以供研究人员参考.具体包括优化外存算法的磁盘I/O、优化外存算法的局部性以及设计增量式迭代算法.现有的大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域,所提出的外存算法性能优化属于静态优化方法,是现有研究的良好补充,为研究人员提供了广阔的研究空间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于戈	东北大学计算机科学与工程学院	426	6587	38.0	64.0
2	宋杰	东北大学软件学院	39	690	14.0	25.0
3	鲍玉斌	东北大学计算机科学与工程学院	85	1496	22.0	36.0
4	毛克明	东北大学软件学院	12	128	4.0	11.0
5	孙宗哲	东北大学软件学院	3	104	3.0	3.0