Spark上的等值连接优化

• 作者: 卞昊穹 杜小勇 陈跃国 高彦杰
• 来源期刊: 华东师范大学学报（自然科学版）
• 学科: 工学
• 关键词: Spark SQL 大数据分析 等值连接 内存计算
• 年，卷（期）: 2014,（5）
• 所属期刊栏目: 关键技术
• 页码范围: 263-270,280
• 页数: 9页
• 分类号: TP392
• 字数: 6087字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-5641.2014.05.023

摘要

等值连接作为数据分析中最常用、代价最高的操作之一,在Spark上的实现和优化与传统并行数据库有很大的差别,传统并行数据仓库中基于数据预划分的连接算法在Spark上难以实现,而目前被广泛采用的Broadcast Join和Repartition Join性能较差,如何提高连接性能成为基于Spark的海量数据分析的关键.本研究将Simi-Join与Partition Join的优势相结合,并基于Spark上的特性提出了一种优化的等值连接算法.代价分析和实验表明本算法比现有基于Spark的数据分析系统中的连接算法性能提升1～2倍.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杜小勇	数据工程与知识工程教育部重点实验室(中国人民大学)	2	28	2.0	2.0
5	卞昊穹	数据工程与知识工程教育部重点实验室(中国人民大学)	1	24	1.0	1.0
9	陈跃国	数据工程与知识工程教育部重点实验室(中国人民大学)	2	29	2.0	2.0
13	高彦杰	数据工程与知识工程教育部重点实验室(中国人民大学)	1	24	1.0	1.0