基于应用程序的MapReduce性能优化

• 作者: 刘正涛 应毅 高莉莎
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: MapReduce 应用程序 性能优化 in-Map Reduce 小文件优化
• 年，卷（期）: 2015,（7）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 96-99,106
• 页数: 5页
• 分类号: tP316.4
• 字数: 3644字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2015.07.021

摘要

针对MapReduce框架执行效率不佳的问题，对MapReduce性能优化的多个方案进行了研究。首先阐述了云计算的定义、特征以及专用批处理PaaS平台Hadoop的组成，之后简单介绍了MapReduce框架和MapReduce框架下的应用程序开发，接着着重讨论了MapReduce性能优化的三个主流方向：系统实现优化、参数调优、应用程序优化。并从应用程序着手，提出多个解决方法，进行了in-Map Reduce优化算法、脚本语言/编译语言对比、小文件预处理优化等多个实验，最后对优化技术和实验数据进行了分析。实验结果表明，优化应用程序是提高MapReduce性能的有效手段。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	高莉莎		6	17	2.0	4.0
2	刘正涛	南京航空航天大学信息科学与技术学院	12	153	6.0	12.0
6	应毅	三江学院计算机科学与工程学院	41	224	8.0	14.0