基于分配适应度的Spark渐进填充分区映射算法

• 作者: 于炯 修位蓉 卞琛 廖彬 英昌甜 钱育蓉
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 并行计算 Spark 渐进填充 分区映射 分配适应度
• 年，卷（期）: 2017,（9）
• 所属期刊栏目: 学术论文
• 页码范围: 133-147
• 页数: 15页
• 分类号: TP393.09
• 字数: 14240字
• 语种: 中文
• DOI: 10.11959/j.issn.1000-436x.2017188

摘要

分析Spark的作业执行机制,建立了执行效率模型和Shuffle过程模型,给出了分配适应度(AFD,allocation fitness degree)的定义,提出了算法的优化目标.根据模型的相关定义求解,设计了渐进填充分区映射算法(PFPM,progressive filling partitioning and mapping algorithm),通过扩展式分区和渐进填充映射,建立适应Reducer计算能力的数据分配方案,有效缩减Shuffle过程的同步延时,提高集群计算效率.实验表明该算法提高了Shuffle过程数据分配的合理性,优化了并行计算框架Spark的作业执行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学软件学院	176	1315	20.0	28.0
2	钱育蓉	新疆大学软件学院	85	510	13.0	20.0
3	廖彬	新疆财经大学统计与信息学院	34	172	8.0	10.0
4	卞琛	新疆大学软件学院	25	209	8.0	13.0
5	修位蓉	新疆大学软件学院	6	42	3.0	6.0
6	英昌甜	新疆大学软件学院	29	254	11.0	14.0