异构环境下基于双重预取的Hadoop调度算法

• 作者: 孙玉强 李媛媛 王文闻 陆勇 顾玉宛
• 来源期刊: 计算机测量与控制
• 关键词: Hadoop 异构环境 调度算法 双重预取
• 年，卷（期）: 2016,（9）
• 所属期刊栏目: 设计与应用
• 页码范围: 172-175
• 页数: 4页
• 分类号: TP3
• 语种: 中文
• DOI: 10.16526/j.cnki.11-4762/tp.2016.09.048

摘要

Hadoop处理海量数据时,无论是Map任务还是Reduce任务都需要耗费大量的时间传输数据,故提出一种基于双重预取的调度算法;该算法通过估算节点上任务执行的进度来预测Map任务的执行节点,然后通知节点提前预取所需的数据,并且在Map任务完成的数量达到预定值时,开始为Reduce任务预取部分数据;由于在异构的环境下集群中节点的性能各不相同,为此采取了改进的预测模型,以提高任务进度判断的准确性;实验证明,本算法在作业响应时间等方面优于现有的调度算法.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙玉强	常州大学信息科学与工程学院	19	65	5.0	7.0
2	顾玉宛	常州大学信息科学与工程学院	9	26	3.0	5.0
3	王文闻	常州大学信息科学与工程学院	3	15	2.0	3.0
4	陆勇	常州大学信息科学与工程学院	2	7	1.0	2.0
5	李媛媛	常州大学信息科学与工程学院	3	7	1.0	2.0