基于增量式分区策略的 MapReduce 数据均衡方法

• 作者: 尤立 李战怀 潘巍 王卓 陈群
• 来源期刊: 计算机学报
• 学科: 工学
• 关键词: 增量分配 细粒度分区 数据倾斜 均衡分区 MapReduce 大数据
• 年，卷（期）: 2016,（1）
• 所属期刊栏目: 大数据分析
• 页码范围: 19-35
• 页数: 17页
• 分类号: TP311
• 字数: 15417字
• 语种: 中文
• DOI: 10.11897/SP.J.1016.2016.00019

摘要

MapReduce 以其简洁的编程模型，被广泛应用于大规模和高维度数据集的处理，如日志分析、文档聚类和其他数据分析。开源系统 Hadoop 很好地实现了 MapReduce 模型，但由于自身采用一次分区机制，即通过 Hash／Range 分区函数对数据进行一次划分，导致在处理密集数据时，Reduce 端常会出现数据倾斜的问题。虽然系统为用户提供了自定义分区函数方法，但不幸的是在不清楚输入数据分布的情况下，数据倾斜问题很难被避免。为解决数据划分的不均衡，该文提出一种将分区向 Reducer 指派时按照多轮分配的分区策略。该方法首先在 Map 端产生多于 Reducer 个数的细粒度分区，同时在 Mapper 运行过程中实时统计各细粒度分区的数据量；然后由 JobTracker 根据全局的分区分布信息筛选出部分未分配的细粒度分区，并用代价评估模型将选中的细粒度分区分配到各 Reducer上；依照此方法，经过多轮的筛选、分配，最终在执行 Reduce（）函数前，将所有细粒度分区分配到 Reduce 端，以此解决分区后各 Reducer 接收数据总量均衡的问题。最后在 Zipf 分布数据集和真实数据集上与现有的分区切分方法Closer 进行了对比，增量式分区策略更好地解决了数据划分后的均衡问题。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李战怀	西北工业大学计算机学院	254	2139	21.0	35.0
2	陈群	西北工业大学计算机学院	54	495	11.0	20.0
3	潘巍	西北工业大学计算机学院	17	221	7.0	14.0
4	王卓	西北工业大学计算机学院	4	44	2.0	4.0
5	尤立	西北工业大学计算机学院	1	41	1.0	1.0