基于MapReduce模型的排序算法优化研究

• 作者: 蒋勇 赵作鹏
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: MapReduce 优化算法 大数据 排序算法
• 年，卷（期）: 2015,（4）
• 所属期刊栏目: 学术研究
• 页码范围: 410-417
• 页数: 8页
• 分类号: TP319
• 字数: 6278字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1409083

摘要

MapReduce已经发展成为大数据领域标准的并行计算模型。为了使MapReduce系统下参与计算的所有节点高度负载均衡，并且最小化空间使用率、CPU、I/O的使用时长和网络传输开销等指标，在保持算法良好并行性的基础上，提出了一种MapReduce优化算法的设计规范，对多个指标同时进行优化。针对数据处理领域最重要的排序算法进行理论分析，给出了多指标约束下的最优算法，并证明了该优化算法满足MapReduce 优化算法规范。最后通过实验验证了该优化的排序算法在有效性和效率方面严格优于传统的排序算法。