基于匹配规则的MapReduce任务调度模型

• 作者: 王春枝 金伟健
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 云计算 调度算法 Hadoop MapReduce 先进先出
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 先进计算
• 页码范围: 1010-1013,1018
• 页数: 5页
• 分类号: TP302.1
• 字数: 5545字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2014.04.1010

摘要

基于开源云计算平台Hadoop的MapReduce是当前流行的分布式计算框架之一,然而其先进先出(FIFO)调度算法存在资源利用效率低下的问题.提出了一种基于资源匹配规则的MapReduce任务调度模型并进行了算法实现.该调度模型通过获取任务的资源需求与计算节点的剩余资源,依据资源的匹配性进行任务分配,提高了系统的资源使用效率.首先对MapReduce的调度过程进行建模,提出了资源及匹配度的量化定义和相应的计算公式;然后给出了资源测量的具体方法及算法实现;最后利用TeraSort、GrepCount和WordCount任务与FIFO调度算法进行实验对比,实验结果显示,最好的情况下,提出的调度模型任务完成时间减少了22.19％,而最差情况下的吞吐量也提高了25.39％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王春枝	湖北工业大学计算机学院	85	410	11.0	15.0