Hadoop作业调度本地性的研究与优化

• 作者: 姜文红 陈若飞
• 来源期刊: 软件
• 学科: 工学
• 关键词: 云计算 Hadoop MapReduce 作业调度 数据本地性 资源预取
• 年，卷（期）: 2015,（2）
• 页码范围: 64-68
• 页数: 5页
• 分类号: TP393
• 字数: 4235字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2015.02.014

摘要

作为开源云计算平台的核心技术之一，MapReduce 作业处理框架及其作业调度算法，对整个系统的性能起着至关重要的作用，而数据本地性是衡量作业调度算法好坏的一个重要标准，首先本文介绍和分析了 MapReduce 基本原理，MapReduce 作业处理机制和 MapReduce 作业调度机制及其在数据本地性方面表现出的优缺点等相关内容。其次，针对原生作业调度算法在数据本地性考虑不周全的问题，结合数据预取技术的可行性与优势，通过引入资源预取技术设计并实现一种基于资源预取的Hadoop MapReduce作业调度算法，使作业执行效率更高。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姜文红	北京交通大学计算机信息与技术学院工程系	5	13	2.0	3.0
2	陈若飞	北京交通大学计算机信息与技术学院工程系	1	7	1.0	1.0