基于Spark的倾斜数据虚拟划分算法

• 作者: 李俊丽
• 来源期刊: 计算机工程与设计
• 关键词: 数据倾斜 虚拟划分 类别数据 互信息并行计算 负载均衡
• 年，卷（期）: 2021,（8）
• 所属期刊栏目: 软件与算法|Software and Arithmetic
• 页码范围: 2271-2276
• 页数: 6页
• 分类号: TP311
• 语种: 中文
• DOI: 10.16208/j.issn1000-7024.2021.08.024

摘要

针对基于Spark的类别数据互信息的并行计算在数据倾斜情况下会造成某一个或几个reducer负载过重降低集群性能的现状,重新定义数据倾斜模型来量化由Spark创建的分区之间的数据倾斜度,提出数据虚拟划分算法DVP.通过将同一个键添加随机前缀更改为几个不同的键,减少单个任务处理过量数据的情况;在一个24节点的Spark集群中实现DVP算法,通过与Spark传统的哈希算法DEFH比较,实验验证了DVP算法减轻了Spark Shuffle过程中的数据倾斜,减少了在负载均衡方面的耗时.