基于优先级权重的Hadoop YARN调度算法

• 作者: 侯秀萍 王荣丽
• 来源期刊: 吉林大学学报（信息科学版）
• 学科: 工学
• 关键词: Hadoop YARN框架 资源调度器 优先级权重
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 计算机科学与技术
• 页码范围: 443-448
• 页数: 6页
• 分类号: TP391
• 字数: 3959字
• 语种: 中文

摘要

为解决Hadoop现有调度器调度任务时不能根据任务的紧迫程度分配资源的问题,研究YARN中的资源调度机制,改进原调度器(Capacity Scheduler),提出一种基于优先级权重的Hadoop YARN(Yet Another Resource Negotiator)调度算法(Weight Scheduler Based on Priority).为叶子队列设置队列优先级,结合队列资源利用率和队列优先级选择队列;将应用程序的初始权重设置为应用程序优先级的大小,通过等待时间判断是否更新权重,根据权重对队列中的应用程序进行排序,调度时优先为权重高的应用程序分配资源.实验结果表明,与原有调度算法相比,改进算法平均任务执行时间约减少141 s,平均等待时间减少34.5%,保证了用户执行任务的相对公平,提高了用户总体满意度.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	侯秀萍	长春工业大学计算机科学与工程学院	41	169	7.0	11.0
2	王荣丽	长春工业大学计算机科学与工程学院	5	8	2.0	2.0