基于Hadoop的三队列作业调度算法

• 作者: 朱洁 李雯睿 赵红
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: Hadoop 作业调度 三队列 共享资源池 作业抢占
• 年，卷（期）: 2014,（11）
• 所属期刊栏目: 先进计算
• 页码范围: 3227-3230,3240
• 页数: 5页
• 分类号: TP301.6|TP393.027
• 字数: 4527字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2014.11.3227

摘要

Hadoop集群单队列作业调度会产生短作业等待、资源利用率低的问题;采用多队列调度可兼顾公平、提高执行效率,但会带来手工配置参数、资源互占、算法复杂等问题.针对上述问题,提出三队列作业调度算法,利用区分作业类型、动态调整作业优先级、配置共享资源池、作业抢占等设计,达到平衡作业需求、简化一般作业调度流程、提升并行执行能力的目的.对短作业占比高,各作业占比均衡以及一般作业为主,偶尔出现长、短作业三种情况与先进先出(FIFO)算法进行了对比实验,结果三队列算法的运行时间均比FIFO算法要少.实验结果表明,在短作业聚集时,三队列算法的执行效率提升并不显著;但当各种作业并存且分布均衡时,效果很明显,这符合了算法设计时短作业优先、一般作业简化流程、兼顾长作业的初衷,提高了作业整体执行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李雯睿	南京晓庄学院数学与信息技术学院	15	33	3.0	5.0
2	赵红	南京晓庄学院数学与信息技术学院	9	11	2.0	3.0
3	朱洁	南京晓庄学院数学与信息技术学院	12	34	4.0	5.0