基于节点性能的Hadoop作业调度算法改进

• 作者: 冯兴杰 贺阳
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 大数据 Hadoop Yarn 负载均衡 Fair Scheduler算法
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 算法
• 页码范围: 223-228
• 页数: 6页
• 分类号: TP302.7
• 字数: 5865字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2017.05.039

摘要

由于构成数据中心的计算设备一般都存在性能上的差异,但是Hadoop调度算法没有考虑不同节点的性能差异,导致节点间出现“忙闲不均”的现象,影响作业的执行效率.针对如上问题,在系统分析Hadoop资源管理机制(Yarn)源代码的基础上,提出了节点性能评价指标,综合考虑节点的硬件配置参数和运行过程中的动态性能指标.在此基础上对Fair Scheduler调度算法进行改进,实现了基于节点性能的任务分配,整体上提高了所有节点的利用率.在Hadoop集群上的实验表明,所提出的节点性能评价指标和对Fair Scheduler调度算法的改进,有效解决了节点的负载均衡问题,整体上提高了作业执行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	冯兴杰	中国民航大学计算机科学与技术学院	61	398	10.0	18.0
2	贺阳	中国民航大学计算机科学与技术学院	3	22	2.0	3.0