一种基于两级DAG模型的MapReduce工作流异构调度算法

• 作者: 王冠 王宇新 王飞 郭禾
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: MapReduce 工作流 异构计算 任务调度
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 高性能计算
• 页码范围: 1353-1359
• 页数: 7页
• 分类号: TP302
• 字数: 5543字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2019.08.003

摘要

MapReduce编程模型被广泛应用于大数据处理平台,而一个有效的任务调度算法对模型的运行效率至关重要.将MapReduce工作流的Map和Reduce阶段分别拆解为若干个有先后序限定关系的作业,每个作业再拆解为多个任务.之后基于计算集群的可用资源和任务异构性,构建面向作业和任务的2级有向无环图(DAG)模型,同时提出基于2级优先级排序的异构调度算法2-MRHS.算法的第1阶段进行优先级排序,即对作业和任务分别进行优先权值计算,再汇总得到任务的调度队列;第2阶段进行任务分配,即基于最快完成时间将每个任务所包含的数据块子任务分配给最适合的计算结点.采用大批量随机生成的DAG模型进行实验,结果表明与其他相关算法相比,本文算法有更短的调度长度(makespan)且更加稳定.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王飞	大连理工大学计算机科学与技术学院	50	199	8.0	11.0
2	王宇新	大连理工大学计算机科学与技术学院	88	589	12.0	19.0
3	郭禾	大连理工大学计算机科学与技术学院	86	724	14.0	23.0
4	王冠	大连理工大学计算机科学与技术学院	3	51	2.0	3.0