CSPRJ:基于数据倾斜的MapReduce连接查询算法

• 作者: 周娅 李玲 熊晗 胡彩林 魏夏飞
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: 数据倾斜 MapReduce Hadoop 连接查询 查询优化 负载均衡
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 计算机软件与数据库研究
• 页码范围: 367-371
• 页数: 5页
• 分类号: TP311
• 字数: 4323字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-1220.2018.02.033

摘要

数据倾斜是海量数据分析与处理中常见场景之一.在数据倾斜场景下,传统MapReduce连接查询算法并不能充分利用Hadoop平台并行计算编程模型特性.本文主要研究基于数据倾斜的MapReduce连接查询算法.针对传统多表连接查询算法不能有效解决数据倾斜导致的性能瓶颈问题,设计并实现统计倾斜轮询分区连接查询优化算法,该算法以HDFS作为数据存储层,通过统计倾斜与轮询分区策略有效将数据分发到Hadoop集群各个计算节点.实验表明,本文提出的算法在不同数据倾斜率下均能有效实现负载均衡,充分利用MapReduce并行计算特性,并已在实际应用场景中获得较好性能提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周娅	桂林电子科技大学计算机与信息安全学院	90	540	11.0	19.0
2	魏夏飞	桂林电子科技大学计算机与信息安全学院	1	3	1.0	1.0
3	熊晗	桂林电子科技大学计算机与信息安全学院	1	3	1.0	1.0
4	胡彩林	桂林电子科技大学计算机与信息安全学院	1	3	1.0	1.0
5	李玲	桂林电子科技大学计算机与信息安全学院	1	3	1.0	1.0