基本信息来源于合作网站,原文需代理用户跳转至来源网站获取       
摘要:
MapReduce编程模型被广泛应用于大数据处理平台,而一个有效的任务调度算法对模型的运行效率至关重要.将MapReduce工作流的Map和Reduce阶段分别拆解为若干个有先后序限定关系的作业,每个作业再拆解为多个任务.之后基于计算集群的可用资源和任务异构性,构建面向作业和任务的2级有向无环图(DAG)模型,同时提出基于2级优先级排序的异构调度算法2-MRHS.算法的第1阶段进行优先级排序,即对作业和任务分别进行优先权值计算,再汇总得到任务的调度队列;第2阶段进行任务分配,即基于最快完成时间将每个任务所包含的数据块子任务分配给最适合的计算结点.采用大批量随机生成的DAG模型进行实验,结果表明与其他相关算法相比,本文算法有更短的调度长度(makespan)且更加稳定.
推荐文章
DAG分割模型下的云工作流调度策略
云计算
科学工作流
调度优化
DAG分割
执行跨度
基于动态关键路径的云工作流调度算法
云计算
工作流调度
关键路径
执行跨度
网格工作流中一种扩展的QD-Sufferage调度算法
工作流
调度
扩展拓扑排序
Extended QD-Sufferage算法
多核平台两级抢占式固定优先级DAG递归调度
多核平台
两级
抢占式
固定优先级
有向无环图
递归调度
内容分析
关键词云
关键词热度
相关文献总数  
(/次)
(/年)
文献信息
篇名 一种基于两级DAG模型的MapReduce工作流异构调度算法
来源期刊 计算机工程与科学 学科 工学
关键词 MapReduce 工作流 异构计算 任务调度
年,卷(期) 2019,(8) 所属期刊栏目 高性能计算
研究方向 页码范围 1353-1359
页数 7页 分类号 TP302
字数 5543字 语种 中文
DOI 10.3969/j.issn.1007-130X.2019.08.003
五维指标
作者信息
序号 姓名 单位 发文数 被引次数 H指数 G指数
1 王飞 大连理工大学计算机科学与技术学院 50 199 8.0 11.0
2 王宇新 大连理工大学计算机科学与技术学院 88 589 12.0 19.0
3 郭禾 大连理工大学计算机科学与技术学院 86 724 14.0 23.0
4 王冠 大连理工大学计算机科学与技术学院 3 51 2.0 3.0
传播情况
(/次)
(/年)
引文网络
引文网络
二级参考文献  (15)
共引文献  (6)
参考文献  (8)
节点文献
引证文献  (0)
同被引文献  (0)
二级引证文献  (0)
1994(1)
  • 参考文献(0)
  • 二级参考文献(1)
2002(3)
  • 参考文献(1)
  • 二级参考文献(2)
2003(1)
  • 参考文献(0)
  • 二级参考文献(1)
2007(1)
  • 参考文献(0)
  • 二级参考文献(1)
2008(3)
  • 参考文献(1)
  • 二级参考文献(2)
2011(1)
  • 参考文献(0)
  • 二级参考文献(1)
2013(2)
  • 参考文献(1)
  • 二级参考文献(1)
2014(4)
  • 参考文献(0)
  • 二级参考文献(4)
2015(2)
  • 参考文献(0)
  • 二级参考文献(2)
2016(2)
  • 参考文献(2)
  • 二级参考文献(0)
2017(2)
  • 参考文献(2)
  • 二级参考文献(0)
2018(1)
  • 参考文献(1)
  • 二级参考文献(0)
2019(0)
  • 参考文献(0)
  • 二级参考文献(0)
  • 引证文献(0)
  • 二级引证文献(0)
研究主题发展历程
节点文献
MapReduce
工作流
异构计算
任务调度
研究起点
研究来源
研究分支
研究去脉
引文网络交叉学科
相关学者/机构
期刊影响力
计算机工程与科学
月刊
1007-130X
43-1258/TP
大16开
湖南省长沙市开福区德雅路109号国防科技大学计算机学院
42-153
1973
chi
出版文献量(篇)
8622
总下载数(次)
11
总被引数(次)
59030
相关基金
国家自然科学基金
英文译名:the National Natural Science Foundation of China
官方网址:http://www.nsfc.gov.cn/
项目类型:青年科学基金项目(面上项目)
学科类型:数理科学
  • 期刊分类
  • 期刊(年)
  • 期刊(期)
  • 期刊推荐
论文1v1指导