异构资源环境下的MapReduce性能优化

• 作者: 石磊 陶永才
• 来源期刊: 小型微型计算机系统
• 学科: 工学
• 关键词: 云计算 异构资源 MapReduce Hadoop
• 年，卷（期）: 2013,（2）
• 所属期刊栏目: 计算机软件与数据库技术
• 页码范围: 287-292
• 页数: 6页
• 分类号: TP309
• 字数: 6392字
• 语种: 中文

摘要

针对现有Hadoop难以适应异构资源环境的不足,提出一种自适应MapReduce调度器:CloudMR.基于数据局部性,CloudMR将同一机架内的<key,value>对进行本地归约合并,减少中间结果中<key,value>对的数目,从而减少机架间的数据传送.根据资源性能和任务特征,CloudMR动态确定节点任务槽数和数据分配量.对于计算性能高的节点,CloudMR分配较多的任务和数据量,而对于计算性能低的节点,相应地减轻任务和数据量负载.实验表明,在异构环境下,较之现有Hadoop,CloudMR减少了节点间数据传输和备份任务运行,缩短了作业完成时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	石磊	郑州大学信息工程学院	143	984	17.0	24.0
2	陶永才	郑州大学信息工程学院	42	284	8.0	14.0