基于迭代填充的内存计算框架分区映射算法

• 作者: 于炯 修位蓉 卞琛 英昌甜 钱育蓉
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 内存计算 数据均衡 扩展式分区 迭代式映射
• 年，卷（期）: 2017,（3）
• 所属期刊栏目: 第四届大数据学术会议(CCF BIGDATA2016)
• 页码范围: 647-653
• 页数: 7页
• 分类号: TP393.09
• 字数: 8083字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2017.03.647

摘要

针对内存计算框架Spark在作业Shuffle阶段一次分区产生的数据倾斜问题,提出一种内存计算框架的迭代填充分区映射算法(IFPM).首先,分析Spark作业的执行机制,建立作业效率模型和分区映射模型,给出作业执行时间和分配倾斜度的定义,证明这些定义与作业执行效率的因果逻辑关系;然后,根据模型和定义求解,设计扩展式数据分区算法(EPA)和迭代式分区映射算法(IMA),在Map端建立一对多分区函数,并通过分区函数将部分数据填入扩展区内,在数据分布局部感知后再执行扩展区迭代式的多轮数据分配,根据Reduce端已分配数据量建立适应性的扩展区映射规则,对原生区的数据倾斜进行逐步修正,以此保障数据分配的均衡性.实验结果表明,在不同源数据分布条件下,算法均提高了作业Shuffle过程分区映射合理性,缩减了宽依赖Stage的同步时间,提高了作业执行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	于炯	新疆大学信息科学与工程学院	176	1315	20.0	28.0
2	钱育蓉	新疆大学信息科学与工程学院	85	510	13.0	20.0
3	卞琛	新疆大学信息科学与工程学院	25	209	8.0	13.0
4	修位蓉	新疆大学信息科学与工程学院	6	42	3.0	6.0
5	英昌甜	新疆大学信息科学与工程学院	29	254	11.0	14.0