基于MapReduce数据密集型负载调度策略研究

• 作者: 戴新华 林巧民 秦军 童毅
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: 云计算 数据本地性 MapReduce Hadoop
• 年，卷（期）: 2015,（4）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 48-52
• 页数: 5页
• 分类号: TP301.6
• 字数: 5450字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2015.04.012

摘要

针对云计算环境中大规模数据集的处理,MapReduce集群已成为一个强大的处理平台。文中提出了一种基于虚拟化平台动态资源重配置的资源评价和动态资源重新配置调度算法。该算法动态地评估作业在截止时间内完成所需要的Map和Reduce计算资源数量,并在不违反用户设定的时间目标的情况下,通过动态地增加或减少独立虚拟机的方式来调整CPU资源,以实现提高数据本地性,同时提高系统在运行作业时的资源利用率。仿真实验结果表明,该算法可以使集群上的MapReduce作业的吞吐率有明显的提高。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦军	南京邮电大学教育科学与技术学院	91	805	14.0	24.0
2	林巧民	南京邮电大学教育科学与技术学院	30	200	8.0	13.0
3	童毅	南京邮电大学计算机学院	2	11	2.0	2.0
4	戴新华	南京邮电大学计算机学院	2	11	2.0	2.0