基于节点识别的慢任务调度算法

• 作者: 刘东 崔云飞 李新明 李艺
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 大数据 慢任务 备份任务 Map-Reduce
• 年，卷（期）: 2014,（7）
• 所属期刊栏目: 论文Ⅱ
• 页码范围: 122-128
• 页数: 7页
• 分类号: TP302.7
• 字数: 5723字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-436x.2014.07.015

摘要

为了降低大数据处理集群在执行任务过程中的慢任务对作业执行效率的影响,提出了一种识别慢任务、备份慢任务、减少慢任务相结合的调度算法——TQST算法.首先,通过判断节点能力和任务执行时间,建立慢节点、非常慢节点和慢任务队列;其次,根据预判备份执行价值确定如何启动慢任务的备份任务,提高了备份执行的作用;然后,在节点识别的基础上,规避为非常慢节点分配任务,从根本上减少慢任务的产生,提高作业执行效率.实验结果表明,TQST算法在作业响应时间等方面优于已有的慢任务调度算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李新明	装备学院复杂电子系统仿真重点实验室	34	116	6.0	8.0
2	刘东	装备学院复杂电子系统仿真重点实验室	29	96	5.0	7.0
3	李艺	装备学院复杂电子系统仿真重点实验室	6	12	2.0	3.0
4	崔云飞		2	2	1.0	1.0