Spark数据倾斜问题研究

• 作者: 张占峰 王文礼 耿珊珊 贾芝婷
• 来源期刊: 河北省科学院学报
• 关键词: 大数据 Spark 数据倾斜 数据处理
• 年，卷（期）: 2020,（1）
• 页码范围: 1-7
• 页数: 7页
• 分类号: TP311
• 语种: 中文

摘要

当今人类已经进入大数据时代,海量数据处理已成为大数据技术领域的研究热点.Spark是一种典型的基于内存的分布式大数据处理框架,但在Spark的实际应用中出现的数据倾斜问题会对计算效率产生重要影响.本文针对于Spark在各类应用中出现的数据倾斜问题,梳理国内外相关研究进展,对在出现数据倾斜问题后常用的优化方法进行了分析对比,最后对未来的研究方向进行了展望.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王文礼	河北经贸大学信息技术学院	3	1	1.0	1.0
2	贾芝婷	河北经贸大学信息技术学院	2	0	0.0	0.0
3	耿珊珊	河北经贸大学信息技术学院	3	2	1.0	1.0
4	张占峰	河北经贸大学信息技术学院	3	2	1.0	1.0