一种基于动态资源采集的 Hadoop作业调度算法

• 作者: 彭志伟 谷建华
• 来源期刊: 微电子学与计算机
• 关键词: Hadoop MapReduce 调度 资源需求
• 年，卷（期）: 2014,（4）
• 页码范围: 64-67
• 页数: 4页
• 分类号: TP393
• 语种: 中文

摘要

为了克服 Hadoop中基于槽的资源模型对集群资源的浪费，提高 Hadoop集群的资源利用率，提出了一种基于动态资源采集的 Hadoop作业调度算法。通过在作业运行过程中动态采集部分任务的CPU ，内存和IO的资源利用率来评估同一作业中其他任务的资源需求，然后根据任务的实际资源需求以及 TaskTracker节点的负载情况进行任务调度，以充分利用各TaskTracker节点的计算资源。通过对比实验表明该调度算法能明显提高集群的资源利用率，缩短作业的完成时间。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	谷建华	西北工业大学计算机学院	72	696	15.0	22.0
2	彭志伟	西北工业大学计算机学院	1	8	1.0	1.0