异构环境下自适应reduce任务调度算法的研究

• 作者: 付彦卓 张树东 李辉
• 来源期刊: 计算机应用研究
• 关键词: Hadoop reduce 异构环境 数据本地性 计算能力
• 年，卷（期）: 2018,（7）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 1989-1991,2000
• 页数: 4页
• 分类号: TP301
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2018.07.015

摘要

异构环境下的Hadoop平台对reduce任务的调度存在随机性,在分配任务时既没有考虑数据本地性,也没有考虑计算节点对当前任务的计算能力.针对以上问题,提出一种异构环境下自适应reduce任务调度算法(SARS).算法根据reduce任务的输入数据分布选择所含数据量最大的机架,在选择计算节点的过程中,结合节点所含任务的数据量、节点的计算能力和当前节点的忙碌状态来选出任务的执行节点.实验结果表明,SARS算法减少了reduce任务执行时的网络开销,同时也减少了reduce任务的执行时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张树东	首都师范大学信息工程学院	24	80	5.0	8.0
2	李辉	首都师范大学信息工程学院	13	13	1.0	3.0
3	付彦卓	首都师范大学信息工程学院	1	1	1.0	1.0