面向MapReduce的迭代式数据均衡分区策略

• 作者: 张元鸣 徐俊 肖刚 蒋建波 陆佳炜
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: MapReduce 大数据 数据倾斜 迭代式数据分区 微分区 均衡分区
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 大数据
• 页码范围: 1873-1885
• 页数: 13页
• 分类号: TP311
• 字数: 11544字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2019.01873

摘要

MapReduce是一种适用于大数据处理的重要并行计算框架.然而,由于难以提前全面获得中间数据的分布规律,默认的数据分区策略往往会造成Reducer端的数据倾斜,会直接影响MapReduce的整体性能.为了实现数据均衡分区,本文提出一种迭代式数据均衡分区策略,将每个Mapper节点要处理的数据块细分后以迭代方式循环处理,根据已迭代轮次的微分区分配结果决定当前迭代轮次的微分区分配方案,以不断调整历次迭代产生的数据倾斜,逐步实现数据均衡分区.给出了迭代式数据分区策略的分配时机、分配准则、分配评价模型和分配算法.基于公开的数据集,对迭代式数据均衡分区策略进行了详细测评,结果表明,该策略能够得到更均衡的数据分区结果,当数据集本身倾斜比较显著时,MapReduce整体性能比默认分区策略平均提高了11.1％和19.7％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	徐俊	浙江工业大学计算机科学与技术学院	39	170	8.0	10.0
2	张元鸣	浙江工业大学计算机科学与技术学院	65	493	11.0	19.0
3	陆佳炜	浙江工业大学计算机科学与技术学院	49	189	7.0	10.0
4	肖刚	浙江工业大学计算机科学与技术学院	138	1143	17.0	27.0
5	蒋建波	浙江工业大学计算机科学与技术学院	2	7	2.0	2.0