并行随机抽样贪心算法分区的MapReduce负载均衡研究

• 作者: 贾孟玉 黄亮 黄伟建
• 来源期刊: 现代电子技术
• 关键词: MapReduce 负载均衡 贪心算法分区 并行随机抽样 分区建模 对比验证
• 年，卷（期）: 2020,（16）
• 所属期刊栏目: 前沿交叉科学
• 页码范围: 170-173
• 页数: 4页
• 分类号: TN919-34|TP311
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2020.16.045

摘要

针对传统MapReduce环境下Hash分区处理偏差数据时存在效率低下负载不均衡问题,采用两阶段分区,即基于并行相似随机抽样贪心算法分区.该抽样是基于Hadoop随机抽样在给定样本比率或特定置信度下的误差范围内快速且低错误率的预测key分布结果.优点在于利用MapReduce框架的并行性减少抽样开销成本,并采用一种评估模型来确定合适的抽样率,达到减少抽样开销成本和提高抽样准确性的目的.结合贪心算法分区代替Hadoop平台默认的Hash分区算法来划分中间数据,实现MapReduce负载均衡.Matlab实验仿真结果表明,并行随机抽样贪心算法分区无论从负载均衡还是执行时间上都优于原生Hadoop中Hash分区算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	黄伟建	河北工程大学信息与电气工程学院	43	119	6.0	9.0
2	黄亮		10	11	2.0	3.0
3	贾孟玉	河北工程大学信息与电气工程学院	1	0	0.0	0.0