基于MapReduce的两表数据倾斜连接的优化算法

• 作者: 赵宇兰
• 来源期刊: 吉林大学学报（理学版）
• 学科: 工学
• 关键词: MapReduce Range partition算法 数据倾斜 连接算法优化
• 年，卷（期）: 2016,（6）
• 所属期刊栏目: 计算机科学
• 页码范围: 1383-1387
• 页数: 5页
• 分类号: TP311
• 字数: 2871字
• 语种: 中文
• DOI: 10.13413/j.cnki.jdxblxb.2016.06.35

摘要

针对 Range partition 算法不能优化数据集严重倾斜情形下的两表连接效率问题，提出一种改进的数据倾斜连接算法。该算法将倾斜数据和非倾斜数据区别处理，利用复制、广播方法将数据发送到每个 Reduce 节点，通过一轮 Map/Reduce 任务完成所有的连接操作，可有效均衡每个 Reduce 处理量，解决了数据严重倾斜对两表连接性能的影响。与传统的分区连接算法比较结果表明，该算法有效。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵宇兰	山西大学商务学院信息学院	17	20	3.0	3.0