基于Hadoop的排序算法并行化改进

• 作者: 周国军 岑月明 梁徐萍 符彩珍 莫丽清
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: Hadoop平台 MapReduce模型 排序算法 大数据
• 年，卷（期）: 2016,（4）
• 所属期刊栏目: 算法与语言
• 页码范围: 68-71
• 页数: 4页
• 分类号: TP312
• 字数: 3476字
• 语种: 中文
• DOI: 10.11907/rjdk.1511520

摘要

受单机内存和计算能力的限制,串行的排序算法难以对大数据进行高效排序.针对此问题,根据Hadoop的MapReduce框架对常用的内部排序算法进行并行化改进,给出改进算法的基本步骤,描述了Map、Partition和Reduce函数的主要代码.以折半插入排序和堆排序为例,通过实验比较串行算法和改进算法的执行时间,测试改进算法的可扩展性.实验结果表明,改进的并行排序算法具有较高的执行效率和较好的可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周国军	玉林师范学院数学与信息科学学院	24	76	4.0	7.0
2	符彩珍	玉林师范学院数学与信息科学学院	1	2	1.0	1.0
3	莫丽清	玉林师范学院数学与信息科学学院	1	2	1.0	1.0
4	岑月明	玉林师范学院数学与信息科学学院	1	2	1.0	1.0
5	梁徐萍	玉林师范学院数学与信息科学学院	1	2	1.0	1.0