Hadoop平台中一种Reduce负载均衡贪心算法

• 作者: 刘朵 姚亦韬 曾锋 陈志刚
• 来源期刊: 计算机应用研究
• 关键词: MapReduce 贪心算法 Reduce负载均衡 抽样
• 年，卷（期）: 2016,（9）
• 所属期刊栏目: 算法研究探讨
• 页码范围: 2656-2659
• 页数: 4页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2016.09.021

摘要

MapReduce是目前广泛应用的并行计算框架,是Hadoop平台的重要组成部分.主要包括Map和Reduce函数,Map函数输出key-value键值对作为Reduce的输入.由于输入的动态性,不同主机上的Reduce处理的输入量存在不均衡性.如何解决Reduce的负载均衡是优化MapReduce的一个重要研究方向.对整体数据进行抽样,通过适量的样本分析数据,达到较小的代价获得可靠的key分布,提出贪心算法代替Hadoop平台默认的Hash算法来划分数据,实现Reduce负载均衡.提出的贪心算法主要思想是根据抽样数据,求取所有key频次的和对于Reduce节点数量的平均值,然后依次为每一个Reduce分配一个接近平均值的负载,从而达到整体的负载均衡.模拟实验表明,所提算法与默认的hash分区算法相比,运行时间节约10.6％,达到更好的负载均衡.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈志刚	中南大学软件学院	517	4717	33.0	48.0
2	曾锋	中南大学软件学院	37	244	9.0	13.0
3	刘朵	中南大学软件学院	1	20	1.0	1.0
4	姚亦韬	中南大学软件学院	1	20	1.0	1.0