Spark框架并行度推断算法

• 作者: 于炯 修位蓉 卞琛 廖彬 英昌甜 鲁亮
• 来源期刊: 电子科技大学学报
• 学科: 工学
• 关键词: 内存计算 并行度推断 性能优化 Spark 溢写概率
• 年，卷（期）: 2019,（4）
• 所属期刊栏目: 计算机工程与应用
• 页码范围: 567-574
• 页数: 8页
• 分类号: TP393.09
• 字数: 7501字
• 语种: 中文
• DOI: 10.3969/j.issn.1001-0548.2019.04.014

摘要

分布式计算集群Spark宽依赖并行度取决于用户设定参数,对于不同的作业类型或数据集,硬编码的并行度参数设定难以发挥集群的最大计算能效.针对这一问题,首先对Spark作业执行方式进行深入分析,建立作业调度模型,提出宽依赖计算代价、资源空置率和溢写概率的定义;然后分析任务并行度对作业执行时间的影响,证明并行度取值具有合理区间,提出并行度推断算法的优化目标.最后根据模型定义进行目标求解,设计批处理内存计算框架的并行度推断算法(parallelism deduction algorithm,PDA),通过构建的数据总量、执行区预留比、操作闭包集合、资源表等多个基础数据,计算符合资源需求表且具有最大资源利用率和最小开销的任务并行度;PDA算法在作业的各个Stage中迭代执行,根据计算环境优化调度方案提高性能.实验表明,PDA算法提高了Spark框架的作业执行效率,针对不同类型作业均具有良好的普适性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学信息科学与工程学院	176	1315	20.0	28.0
2	廖彬	新疆财经大学统计与信息学院	34	172	8.0	10.0
3	卞琛	广东金融学院互联网金融与信息工程学院	25	209	8.0	13.0
5	修位蓉	新疆大学信息科学与工程学院	6	42	3.0	6.0
6	英昌甜	新疆大学信息科学与工程学院	29	254	11.0	14.0
7	鲁亮	新疆大学信息科学与工程学院	31	234	10.0	13.0