云计算环境下的动态反馈作业调度算法

• 作者: 唐善成 王静 赵安新 马莉
• 来源期刊: 西安交通大学学报
• 关键词: 云计算 Hadoop集群 作业调度 排队论 反馈机制
• 年，卷（期）: 2014,（7）
• 页码范围: 77-82
• 页数: 6页
• 分类号: TP311
• 语种: 中文
• DOI: 10.7652/xjtuxb201407014

摘要

针对现有Hadoop作业调度算法在多用户、异构环境下不具备反馈机制的问题,提出一种云计算环境下具备反馈机制的动态作业调度算法.该算法引入排队论模型,采用单队列多资源池服务窗口的设计思路,将所有作业统一提交到一个支持优先级的排队队列,作业分发控制模块选择优先级最高的作业分发到空闲的资源池窗口执行;Hadoop集群通过自身的心跳机制将作业运行的初始化时间、运行时间等信息传递给参数统计模块进行统计,将获得的平均到达率和平均服务率这两个核心参数的实际值传递给反馈机制模块,根据调度算法模型计算出平均逗留时间和平均队长的理论值并与实际值进行对比,当差值大于阈值时对该调度算法的核心参数进行适当调节使差值收敛于阈值,将具有较大平均逗留时间和平均队长的作业调度到有槽位数的资源池服务窗口执行.实验结果表明:与经典算法相比,该算法具有较高的调度效率和负载平衡能力,作业平均逗留时间比先进先出调度算法和公平调度算法分别减少了57％和19％,平均队长分别减少了50％和37％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王静	西安科技大学通信与信息工程学院	32	102	6.0	9.0
2	马莉	西安科技大学通信与信息工程学院	29	260	10.0	16.0
3	唐善成	西安科技大学通信与信息工程学院	16	89	6.0	9.0
4	赵安新	西安交通大学电气工程学院	8	88	4.0	8.0