非均匀数据分布下的MapReduce连接查询算法优化

• 作者: 周萍 尚宏佳 张敬伟 杨青 钱俊彦
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 连接查询 MapReduce 数据倾斜
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 数据库技术
• 页码范围: 752-767
• 页数: 16页
• 分类号: TP311.130
• 字数: 12673字
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.1604022

摘要

MapReduce分布式计算框架有助于提升大规模数据连接查询的效率,但当连接属性分布不均匀时,其简单的散列策略容易导致计算节点间负载不均衡,影响作业的整体性能.针对连接查询操作中的数据倾斜问题,研究了MapReduce框架下大规模数据连接查询操作的优化算法.首先对经典的改进重分区连接查询算法进行实验分析,研究了传统MapReduce计算框架下连接查询操作的执行流程,找出了基于MapReduce计算框架的连接查询算法在数据分布不均匀时的性能瓶颈;进而提出了组合分割平衡分区优化策略,设计并实现了基于组合分割平衡分区优化策略的改进型连接查询算法.实验结果表明,提出的优化策略在大规模数据的连接查询处理上很好地解决了数据倾斜带来的性能影响,具有好的时间性能和可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	钱俊彦	桂林电子科技大学广西可信软件重点实验室	86	238	9.0	10.0
2	周萍	桂林电子科技大学广西自动检测技术与仪器重点实验室	78	352	10.0	13.0
3	杨青	桂林电子科技大学广西自动检测技术与仪器重点实验室	46	183	7.0	10.0
4	张敬伟	桂林电子科技大学广西可信软件重点实验室	26	74	6.0	7.0
8	尚宏佳	桂林电子科技大学广西可信软件重点实验室	1	5	1.0	1.0