Hadoop集群作业调度算法优化技术研究

• 作者: 单冬红 赵伟艇 郭静博
• 来源期刊: 现代电子技术
• 关键词: 云计算 Hadoop HDFS 作业调度 集群
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 科学计算与信息处理
• 页码范围: 25-29
• 页数: 5页
• 分类号: TN911-34
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2016.06.007

摘要

针对当前云计算技术的广泛使用，提出对Hadoop集群作业调度算法进行研究的构想。在对Hadoop新版本中提出的Hadoop Map Reduce V2（Yarn）框架进行深入研究的基础上，设计一个详细完整的对比实验，针对各种作业调度算法的优势与不足进行全面的测试。通过使用不同的作业调度算法运行相同的作业，进行细致横向的对比，并得到各种作业调度算法之间以及计算框架之间在计算能力、运行时间、资源占用等方面的优劣。实验结果表明，公平调度算法和计算能力调度算法相较于传统的FIFO算法具有更灵活、更高效的特点。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭静博	河南平顶山学院软件学院	2	5	1.0	2.0
2	单冬红	河南平顶山学院软件学院	2	7	2.0	2.0
3	赵伟艇	河南平顶山学院软件学院	1	5	1.0	1.0