基于延迟调度策略的reduce调度优化算法

• 作者: 李玉强 林泓 王彦 石义龙
• 来源期刊: 计算机应用研究
• 关键词: reduce任务 数据本地性 延迟调度 MapReduce任务调度
• 年，卷（期）: 2017,（7）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2006-2009,2015
• 页数: 5页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2017.07.019

摘要

在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响.针对Hadoop架构中reduce任务的数据本地性较低问题,提出了一种基于延迟调度策略的reduce任务调度优化算法,通过提高reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量,该算法在Hadoop架构的early shuffle阶段,使用多级延迟调度策略来提高reduce任务的数据本地性.最后重写原生公平调度器代码实现了该调度算法,并与原生公平调度器进行了对比实验分析.实验结果表明,该算法明显减少了作业执行时间,提高了集群的作业吞吐量.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李玉强	武汉理工大学计算机科学与技术学院	9	75	4.0	8.0
2	王彦	武汉理工大学计算机科学与技术学院	6	12	2.0	3.0
3	林泓	武汉理工大学计算机科学与技术学院	20	132	4.0	11.0
4	石义龙	武汉理工大学计算机科学与技术学院	2	9	2.0	2.0