基于数据局部性的推测式Hadoop任务调度算法研究

• 作者: 刘向东 刘奎 王翠荣 马宝来
• 来源期刊: 计算机应用研究
• 关键词: Hadoop 任务调度 异构环境 数据局部性
• 年，卷（期）: 2014,（1）
• 所属期刊栏目: 软件技术研究
• 页码范围: 182-187
• 页数: 6页
• 分类号: TP311
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2014.01.042

摘要

针对Hadoop平台现有任务调度算法优化程度不高的问题,提出了一种基于数据局部性的推测式任务调度算法.该算法通过计算节点上Map和Reduce任务时长比例,结合不同节点上数据的局部特性,采用了比现有算法更精确的任务进度探测方式找出快慢节点,在快节点上启动剩余时间最长的落后任务的备份任务,用移动计算代替移动数据.在Hadoop环境中进行了实验,结果表明该算法比现有算法缩短了任务平均运行时间,加快了任务的执行效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	刘向东	东北大学秦皇岛分校计算机与通信学院	22	251	10.0	15.0
2	王翠荣	东北大学秦皇岛分校计算机与通信学院	41	470	10.0	20.0
3	刘奎	东北大学秦皇岛分校计算机与通信学院	6	46	3.0	6.0
4	马宝来	东北大学信息与工程学院	1	25	1.0	1.0