基于Spark的两表等值连接过程优化

• 作者: 张子栋 郑延斌
• 来源期刊: 计算机应用研究
• 关键词: Spark 等值连接 大数据 优化 拆分
• 年，卷（期）: 2019,（2）
• 所属期刊栏目: 软件技术研究
• 页码范围: 486-489
• 页数: 4页
• 分类号: TP391
• 语种: 中文
• DOI: 10.19734/j.issn.1001-3695.2017.08.0710

摘要

在数据统计分析查询中表间的等值连接是常用的操作之一,但代价较高.大数据环境下大表之间等值连接的效率更低.为了解决该问题,提出了一种基于Spark的两表等值连接过程优化方法.首先根据数据价值密度特征构建Bloom filter完成表的过滤操作;其次结合simi-join和partition join两者的优势,对过滤后的单侧表使用贪心算法进行拆分;最后对拆分后的子集进行连接,因此把两大表的连接过程转换为分阶段进行的两小表连接.代价分析和实验结果表明,该算法与现有基于Spark的连接操作相比,不仅在性能上得到了提升,而且当出现数据倾斜时对算法效率影响较小.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郑延斌	河南师范大学计算机与信息工程学院	64	460	11.0	18.0
2	张子栋	集美大学计算机工程学院	7	65	2.0	7.0