一种Spark作业配置参数智能优化方法

• 作者: 吴天雄 潘梵梵 罗永刚 阮树骅 陈兴蜀
• 来源期刊: 工程科学与技术
• 学科: 工学
• 关键词: Spark 配置参数 性能预测 智能优化
• 年，卷（期）: 2020,（1）
• 所属期刊栏目: 信息工程
• 页码范围: 191-197
• 页数: 7页
• 分类号: TP302.7
• 字数: 5450字
• 语种: 中文
• DOI: 10.15961/j.jsuese.201900255

摘要

Spark的配置参数对作业运行性能有较大影响,针对配置参数种类多、参数搜索空间大、参数间相互影响导致人工配置参数调优效率低下的问题,提出了一种Spark作业配置参数智能优化方法.首先,在Spark众多配置参数中选择对作业运行性能影响较大的关键配置参数,建立典型Spark作业的运行数据集,利用支持向量回归算法,构建作业性能预测模型,通过改变数据集的规模,对比分析了模型预测值和作业的真实运行时间,模型评估指标证明了作业性能预测模型的有效性和准确性.其次,基于作业性能预测模型,设计并实现了基于爬山算法、模拟退火算法、递归随机搜索算法以及粒子群算法的配置参数优化算法,并对4种算法的求解质量进行对比分析,实验表明递归随机搜索算法在3种不同类型的作业上收敛结果较优且标准差较小,证明该算法对不同类型作业的适应性较强、稳定性较好.将本文的智能优化配置与传统经验优化配置相比,实验结果表明,智能优化配置为典型Spark作业分别带来了4％、15％、22％的平均性能提升,证明智能优化配置能够高效地获取到具备较好作业适应性的配置,提升作业运行性能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈兴蜀	四川大学网络空间安全学院	117	695	14.0	21.0
5	罗永刚	四川大学网络空间安全研究院	15	68	4.0	7.0
6	阮树骅	四川大学网络空间安全学院	13	57	4.0	7.0
10	吴天雄	四川大学计算机学院	2	2	1.0	1.0
11	潘梵梵	四川大学网络空间安全学院	1	0	0.0	0.0