基于云计算Hadoop异构集群的并行作业调度算法

• 作者: 吕春峰 郭其标
• 来源期刊: 计算机测量与控制
• 关键词: 云计算 作业调度 集群资源 慢任务
• 年，卷（期）: 2014,（6）
• 所属期刊栏目: 算法、设计与应用
• 页码范围: 1846-1849
• 页数: 4页
• 分类号: TP393
• 语种: 中文

摘要

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭其标	嘉应学院计算机学院	15	40	3.0	5.0
2	吕春峰	郑州铁路职业技术学院软件学院	15	33	4.0	5.0