Hadoop系统map阶段的排序性能分析与优化

• 作者: 周扬 张恒生
• 来源期刊: 电脑知识与技术：学术交流
• 学科: 工学
• 关键词: HADOOP MAPREDUCE 排序 性能优化 动态
• 年，卷（期）: 2014,（3）
• 页码范围: 1410-1412
• 页数: 3页
• 分类号: TP302.7

摘要

MapReduce计算框架已被广泛用于大规模数据分析的应用。虽然它具有弹性的可扩展性和细粒度的容错系统，然而性能却并不令人满意。MapReduce可以通过分配更多的计算节点来实现更好的性能，但是，这种做法并不符合成本效益。用户渴望MapReduce在提供弹性的可扩展性和细密度容错的同时，可以具有更高的计算效率。该文提出了一种动态优化map阶段排序性能的方法，并进行了测试，测试结果表明，该方法能够提升MapReduce的基准测试性能。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周扬		3	4	1.0	2.0
2	张恒生		3	7	1.0	2.0