广播机制解决Shuffle过程数据倾斜的方法

• 作者: 吴恩慈
• 来源期刊: 计算机系统应用
• 关键词: 数据倾斜 分区策略 洗牌算法 广播机制
• 年，卷（期）: 2019,（6）
• 所属期刊栏目: 软件技术·算法
• 页码范围: 189-197
• 页数: 9页
• 字数: 5297字
• 语种: 中文
• DOI: 10.15888/j.cnki.csa.006985

摘要

在Spark计算平台中,数据倾斜往往导致某些节点承受更大的网络流量和计算压力,给集群的CPU、内存、磁盘和流量带来了巨大的负担,影响整个集群的计算性能.本文通过对Spark Shuffle设计和算法实现的研究,深入分析在大规模分布式环境下发生数据倾斜的本质原因.提出了广播机制避免Shuffle过程数据倾斜的方法,分析了广播变量分发逻辑过程,给出广播变量性能优势分析和该方法的算法实现.通过Broadcast Join实验验证了该方法在性能上有稳定的提升.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴恩慈		2	0	0.0	0.0