基于AHP的Reduce Task预设配比在Hadoop调度中的应用

• 作者: 吴淑跃 周莲英
• 来源期刊: 数据通信
• 学科: 工学
• 关键词: Hadoop调度 Reduce Task预设配比 AHP
• 年，卷（期）: 2014,（3）
• 所属期刊栏目: 技术交流
• 页码范围: 26-30
• 页数: 5页
• 分类号: TP311
• 字数: 3683字
• 语种: 中文

摘要

针对Hadoop在进行具体MapReduce任务调度时,所存在的Reduce Task无法在一个合适的MapTask完成比例启动的问题,提出了一种基于AHP的Reduce Task预设配比启动方案.该方案基于层次分析法(AHP),选取在资源调度时影响性能息息相关的三个参考指标:文件上传时间、Reduce完成度(Map完成100％)以及系统的响应时间,经过实验得到三个参考值,最后经归一化后进行多属性决策分析得到最佳的Reduce Task启动方案.在本文实验环境下的最佳Reduce Task最佳启动配比为40％,即当Map Task完成比例为总数的40％时开始启动Reduce Task任务.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周莲英	江苏大学计算机科学与通信工程学院	73	250	8.0	12.0
2	吴淑跃	江苏大学计算机科学与通信工程学院	2	7	1.0	2.0