Hadoop作业执行时间在线计算方法

• 作者: 张霄宏 易月婵 沈记全
• 来源期刊: 河南理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 作业执行时间 在线预测方法 分布式计算 并行处理 MapReduce
• 年，卷（期）: 2014,（6）
• 所属期刊栏目: 机电工程
• 页码范围: 776-780
• 页数: 5页
• 分类号: TP315
• 字数: 3315字
• 语种: 中文

摘要

在Hadoop MapReduce环境中,如果能预知作业的执行时间,就可在资源分配、任务调度以及负载均衡过程中作出更合理的决策,改善系统性能.在分析Hadoop MapReduce作业执行模式后,提出了一种作业执行时间在线预测方法.该方法在结合历史信息的基础上,可根据作业在不同阶段的执行进度在线预测执行时间.该方法已在Hadoop-0.20.2中实现,并在一个包含19个节点的Linux集群中进行了验证.实验结果表明,在最好情况下,根据该方法预测的执行时间和真实执行时间的误差约2％.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	沈记全	河南理工大学计算机科学与技术学院	59	181	6.0	10.0
2	张霄宏	河南理工大学计算机科学与技术学院	22	106	4.0	9.0
6	易月婵	河南理工大学计算机科学与技术学院	1	2	1.0	1.0