基于Hadoop平台的三队列作业调度算法

• 作者: 宁菲菲 郑均辉
• 来源期刊: 微型电脑应用
• 学科: 工学
• 关键词: Hadoop 作业调度 三队列 作业优先级 资源抢占
• 年，卷（期）: 2015,（8）
• 所属期刊栏目: 研究与设计
• 页码范围: 19-21,25
• 页数: 4页
• 分类号: TP393
• 字数: 4072字
• 语种: 中文

摘要

针对Hadoop平台的作业调度问题,提出支持作业优先级、作业类型区分和资源抢占的三队列作业调度算法(TJSA).为更好地满足用户需求,通过设置作业优先级细化作业差别,并按照优先级的高低依次进入等待队列;进而对作业类型进行区分,设置CPU密集型作业队列和I/O密集型作业队列,以提高作业的并行执行效率;当队列资源不足时可以基于节点特征对资源进行回收,从而提高平台的整体性能和节点资源利用率.实验结果表明:TJSA算法在作业运行时间和集群运行稳定性上都表现出较好的性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑均辉		44	112	7.0	8.0
2	宁菲菲	平顶山学院软件学院	9	12	2.0	2.0