基于节点集计算能力差异的Hadoop自适应任务调度算法

• 作者: 朱洁 李雯睿 王江平 赵红
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: Hadoop 计算能力 自适应 任务调度 推测式执行
• 年，卷（期）: 2016,（4）
• 所属期刊栏目: 先进计算
• 页码范围: 918-922
• 页数: 5页
• 分类号: TP301.6|TP393.027
• 字数: 5232字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2016.04.0918

摘要

针对异构集群任务推测式执行算法存在的任务进度比例固定、落后任务被动选取等问题,提出基于快慢节点集计算能力差异的自适应任务调度算法.该算法量化节点集计算能力差异实现分集调度,并通过节点与任务速率的动态反馈及时更新快慢节点集,提高节点集资源利用率与任务并行度.在两节点集中,利用动态调整任务进度比例判别落后任务,主动选择采用替代执行方式为落后任务执行备份任务的快节点,从而提升任务执行效率.与最长近似结束时间(LATE)算法的实验对比结果表明,该算法在短作业集、混合型作业集、出现节点性能下降的混合型作业集执行时间上比LATE算法分别缩短了5.21％、20.51％、23.86％,启用的备份任务数比LATE算法明显减少.所提算法可使任务主动适应节点差异,在减少备份任务的同时有效提高作业整体执行效率.