Hadoop环境下基于数据本地化的Reduce任务调度策略

• 作者: 王浩
• 来源期刊: 计算机与现代化
• 学科: 工学
• 关键词: 采样 MapReduce 本地化 任务分配 负载均衡
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 网络与通信
• 页码范围: 114-120
• 页数: 7页
• 分类号: TP311
• 字数: 6106字
• 语种: 中文
• DOI: 10.3969/j.issn.1006-2475.2016.01.023

摘要

在MapReduce模型任务处理过程中,当Reduce任务开始执行,远程拉取Map阶段的输出数据时,会消耗大量的网络带宽,甚至会出现网络瓶颈问题.本文提出基于数据本地化和负载均衡的任务分配策略.该策略中用户首先设置采样数据量M,在Map阶段对前M个数据块进行采样;其次根据采样结果,同时考虑数据本地化因素,将Reduce任务进行分配;然后基于负载均衡将Reduce任务进行再分配,通过任务分配,系统生成一个任务分配表;最后启动Reduce任务,系统开始数据拉取,未被采样的数据根据任务分配表进行任务分配.通过大量实验验证,基于数据本地化和负载均衡的任务分配策略,既能减少Shuffle阶段数据的传输量,又能降低网络带宽的消耗,同时可以避免出现某些节点空闲而其它节点任务量大甚至处理不了的情况,从而提高了集群处理数据的整体能力.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王浩	重庆医科大学附属第二医院信息中心	11	34	3.0	5.0