改进的Hadoop作业调度算法

• 作者: 冯兴杰 贺阳
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 大数据 Hadoop Yarn 负载均衡 FairScheduler算法
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 85-91
• 页数: 7页
• 分类号: TP302.7
• 字数: 7476字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1606-0108

摘要

分布式集群普遍存在负载均衡问题,而Hadoop没有考虑到节点间性能的差异.虽然有负载均衡机制,但是效果不太理想,因此运行过程中经常会出现负载不均衡的情况.针对如上问题,深入分析了Hadoop源代码,理清了Hadoop的运行原理,在Hadoop资源管理机制Yarn中改进了Hadoop任务的排序,建立了新的任务排序规则,提出了对各节点性能评价的指标,分为动态性能指标和静态性能指标.在此基础上对Yarn的FairScheduler算法进行了改进,形成了考虑节点性能的调度算法.重新对Hadoop源码进行了编译,在所搭建的Hadoop平台上进行了对比实验,证明了加入节点性能指标有效解决了Hadoop负载均衡问题,对Hadoop的运行效率有了很大提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	冯兴杰	中国民航大学计算机科学与技术学院	61	398	10.0	18.0
2	贺阳	中国民航大学计算机科学与技术学院	3	22	2.0	3.0