MapReduce中shuffle优化与重构

• 作者: 吴明晖 应晶 彭辅权 金苍宏
• 来源期刊: 中国科技论文
• 学科: 工学
• 关键词: 云计算 Hadoop MapReduce shuffle
• 年，卷（期）: 2012,（4）
• 页码范围: 241-245
• 页数: 5页
• 分类号: TP311.5
• 字数: 4984字
• 语种: 中文
• DOI: 10.3969/j.issn.2095-2783.2012.04.001

摘要

详细介绍了MapReduce编程框架,具体分析了MapReduce中shuffle阶段流程。分别从Map端数据压缩、重构远程数据拷贝传输协议、Reduce端内存分配优化三方面来优化和重构Shuffle。最后通过搭建Hadoop集群,运用MapReduce分布式算法测试实验数据。实验结果证明优化重构后的shuffle能显著提高MapReduce计算性能。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴明晖	浙江大学城市学院	59	853	14.0	28.0
2	金苍宏	浙江大学计算机学院	6	76	3.0	6.0
3	彭辅权	浙江大学计算机学院	1	32	1.0	1.0