最小化多MapReduce任务总完工时间的分析模型及其应用

• 作者: 王心阳 田文洪 薛瑞尼 赵勇 陈瑜
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Hadoop MapReduce 批量作业 调度优化 最小化总完工时间
• 年，卷（期）: 2014,（4）
• 所属期刊栏目: 高性能计算
• 页码范围: 571-578
• 页数: 8页
• 分类号: TP393
• 字数: 6526字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2014.04.001

摘要

随着大规模的MapReduce集群广泛地用于大数据处理,特别是当有多个任务需要使用同一个Hadoop集群时,一个关键问题是如何最大限度地减少集群的工作时间,提高MapReduce作业的服务效率.可将多个MapReduce作业当做一个调度任务建模,观察发现多个任务的总完工时间和任务的执行顺序有密切关系.研究目标是设计作业调度系统分析模型,最小化一批MapReduce作业的总完工时间.提出一个更好的调度策略和实现方法,使整个调度系统符合经典Johnson算法的条件,从而可使用经典Johnson算法在线性时间内获取总完工时间的最优解.同时,针对需要使用两个或多个资源池进行平衡的问题,提出了一种线性时间解决方案,优于已知的近似模拟方案.该理论模型可应用于提高系统响应速度、节能和负载均衡等方面,对应的应用实例提供了证实.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈瑜	电子科技大学计算机科学与工程学院	14	66	5.0	7.0
2	赵勇	电子科技大学计算机科学与工程学院	5	17	2.0	4.0
3	田文洪	电子科技大学信息与软件工程学院	9	21	2.0	4.0
7	王心阳	电子科技大学计算机科学与工程学院	1	2	1.0	1.0
8	薛瑞尼	电子科技大学计算机科学与工程学院	1	2	1.0	1.0