MapReduce上基于抽样的数据划分最优化研究

• 作者: 吴志川 孙徐湛 陈立军 韩蕾
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 抽样 MapReduce框架 数据倾斜 负载平衡 数据集划分
• 年，卷（期）: 2013,（z2）
• 所属期刊栏目: 大数据存储与管理
• 页码范围: 77-84
• 页数: 8页
• 分类号: TP391
• 字数: 7125字
• 语种: 中文

摘要

MapReduce是一个目前应用广泛的并行计算框架,如何解决Reduce节点的负载平衡问题是MapReduce程序执行效率的一个重要研究方向.基于抽样的划分是一种比较有效的数据划分方法,为了使得抽样方法发挥最大程度的效益,研究了抽样效果与其重要影响因素之间的定量关系,并给出了相关理论及其证明推导,同时通过实验进一步验证了理论的正确性.基于研究的结果,可以在给定MapReduce环境中,通过分析数据特征,找到最优抽样样本规模,从而通过尽可能小的抽样代价来得到满足要求的数据划分.通过将研究成果应用在改进的Terasort算法上,以实例验证了其在MapRedece平台上的实际意义.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈立军	北京大学信息科学技术学院	14	100	6.0	9.0
2	韩蕾	北京大学信息科学技术学院	14	237	8.0	14.0
3	吴志川	北京大学信息科学技术学院	2	31	2.0	2.0
4	孙徐湛	北京大学信息科学技术学院	1	21	1.0	1.0