基于数据特性的Spark任务性能优化

• 作者: 吴毅坚 柴宁 赵文耘
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: 分布式系统 大数据 Spark 数据特性
• 年，卷（期）: 2018,（1）
• 所属期刊栏目: 数据工程
• 页码范围: 52-58,84
• 页数: 8页
• 分类号: TP3
• 字数: 6795字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.01.009

摘要

新一代的分布式数据处理框架大大提升了数据处理任务的效率.然而,由于不同数据处理任务需要处理的数据的特性各不相同,因此难以找到一种统一的方法来优化数据处理任务的性能.针对不同的数据集,需要分析其相应的数据特性,才能充分利用内存和计算资源,优化任务执行效率.研究数据倾斜度这一数据特性,提出一种数据倾斜度的量化方法,基于分布式处理框架Spark,通过结合数据采样分析和源代码语义分析的方法,自动判断当前所处理数据集的数据倾斜度与处理代码的适合程度,并基于判断结果提出相应的代码自动优化方案,从而提升任务的运行效率.通过多个数据处理实验,验证了优化后提高数据分析任务效率的效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵文耘	复旦大学软件学院	154	1327	20.0	28.0
7	吴毅坚	复旦大学软件学院	31	178	8.0	11.0
19	柴宁	复旦大学软件学院	1	5	1.0	1.0