Spark环境下基于数据倾斜模型的 Shuffle分区优化方案

• 作者: 王嘉潞 王智立 邱雪松 阎逸飞
• 来源期刊: 北京邮电大学学报
• 学科: 工学
• 关键词: 数据倾斜 Spark shuffle 分区算法 负载均衡
• 年，卷（期）: 2020,（2）
• 所属期刊栏目: 研究报告
• 页码范围: 116-121
• 页数: 6页
• 分类号: TP399
• 语种: 中文
• DOI: 10.13190/j.jbupt.2019-092

摘要

针对Spark分布式平台在shuffle阶段中导致数据量分配不均衡的问题,首先分析了Spark平台中数据倾斜的原因,建立了一个可以统一量化shuffle后key-value数据倾斜程度的倾斜模型;基于倾斜模型提出了一个可以解决Spark平台中多种数据倾斜问题的shuffle分区方案.该分区方案首先对Map阶段的输出数据进行采样,预测出全局中间数据的大小,再根据基于哈希的最佳适应算法对采样数据进行预分区,得到一张预分区表,最后根据预分区表对全部的中间数据完成分区.在key和value这2种不同倾斜情况下的实验结果表明,该shuffle分区方案具有普适性和高效性,可以有效处理key和value倾斜的情况.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邱雪松	北京邮电大学网络与交换技术国家重点实验室	167	1287	17.0	26.0
2	王智立	北京邮电大学网络与交换技术国家重点实验室	19	80	5.0	7.0
3	阎逸飞	北京邮电大学网络与交换技术国家重点实验室	1	0	0.0	0.0
4	王嘉潞	北京邮电大学网络与交换技术国家重点实验室	1	0	0.0	0.0