基于PUSH机制的任务调度方法

• 作者: 孙江峰 张霄宏 赵文涛
• 来源期刊: 中南大学学报（自然科学版）
• 学科: 工学
• 关键词: 数据局部性 性能优化 任务调度 MapReduce
• 年，卷（期）: 2016,（7）
• 所属期刊栏目: 机械工程 ? 控制科学与工程
• 页码范围: 2334-2340
• 页数: 7页
• 分类号: TP315
• 字数: 5963字
• 语种: 中文
• DOI: 10.11817/j.issn.1672-7207.2016.07.022

摘要

为降低Hadoop MapReduce环境中任务的数据访问延时进而提高系统性能，提出一种基于PUSH机制的任务调度方法。该方法根据输入数据分布，主动将任务推送到存储其输入数据的节点。当任务在这些节点执行时，可以直接从本地磁盘读取数据，从而避免远程数据访问延时。该方法已在hadoop-0.20.2中实现，并在真实集群中进行验证。研究结果表明：与原有调度方式相比，该方法可将作业执行时间平均降低8%，在最好情况下可降低14.3%。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵文涛	河南理工大学计算机科学与技术学院	32	158	7.0	11.0
3	孙江峰	河南理工大学计算机科学与技术学院	15	22	3.0	4.0
5	张霄宏	河南理工大学计算机科学与技术学院	22	106	4.0	9.0