Hadoop下资源匹配最大集作业调度算法

• 作者: 朱洁 李滢 李雯睿 赵红
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: Hadoop 层级队列 作业调度 最大集 最大最小公平算法
• 年，卷（期）: 2015,（12）
• 所属期刊栏目: 先进计算
• 页码范围: 3383-3386,3446
• 页数: 5页
• 分类号: TP301.6|TP393.027
• 字数: 4956字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2015.12.3383

摘要

针对目前层级队列作业调度算法中资源占比高的作业执行效率低的问题,提出一种资源匹配最大集算法.该算法分析作业特征,引入完成度、等待时间、优先级、重调度次数为紧迫值因子,优先考虑资源占比高或等待时间长的作业,以改善作业公平性;采用双队列结构在可用资源总量内优先选择高紧迫值作业,在不同资源占比作业集比较中选择作业数最大集,以实现调度平衡.在与最大最小公平(Max-min fairness)算法的实例对比中发现,该算法可降低作业集平均等待时间、提高资源利用率.实验对比结果表明,该算法可将不同资源占比的单一类型作业集执行时间缩短18.73％,其中资源占比高的作业执行时间缩短27.26％;在混合型作业集中对应的执行时间可分别缩短22.36％与30.28％.所提算法能有效减少资源占比高作业的等待,提高作业整体执行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李雯睿	南京晓庄学院信息工程学院	15	33	3.0	5.0
3	赵红	南京晓庄学院信息工程学院	9	11	2.0	3.0
5	朱洁	南京晓庄学院信息工程学院	12	34	4.0	5.0
9	李滢	南京晓庄学院信息工程学院	7	9	2.0	2.0