一种基于交互式的Hadoop作业调度算法

• 作者: 吴佳 李环媛 苏丹 袁卫国
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Hadoop MapReduce 交互式 slots资源槽 IS调度
• 年，卷（期）: 2016,（11）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 45-48,53
• 页数: 5页
• 分类号: TP393
• 字数: 3756字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2016.11.010

摘要

Hadoop平台中作业调度是一个重要环节。 FIFO是Hadoop默认的调度算法,简单易实现且应用广泛,但其在数据的本地化( data locality)这一特性上考虑不足,会引起网络的负载量增大,任务的等待执行时间长,计算资源得不到充分利用等一系列弊端；同时Map阶段和Reduce阶段资源槽的静态职能形式也更一步加深了这种缺陷。针对这些缺陷,从数据的本地性、任务分配的角度出发,提出了一种基于主从节点间交互的作业调度算法( Interactive Scheduler,IS)。该算法是对FIFO的一种改进,同时也使不同资源槽之间可以动态转换,提高了资源的使用率。通过实验对比,结果表明IS调度算法对Hadoop平台的作业调度效率有显著的提升。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李环媛	国网冀北电力有限公司信息通信分公司信息通信工程中心	7	7	2.0	2.0
2	袁卫国	国网冀北电力有限公司信息通信分公司信息通信工程中心	16	26	3.0	4.0
3	苏丹	国网冀北电力有限公司信息通信分公司信息通信工程中心	16	18	2.0	3.0
4	吴佳	国网冀北电力有限公司信息通信分公司信息通信工程中心	19	32	4.0	5.0