基于副本分布策略的MapReduce性能优化技术

• 作者: 虞慧群 钱孟远
• 来源期刊: 华东理工大学学报（自然科学版）
• 学科: 工学
• 关键词: 分布式文件系统 副本分布策略 MapReduce 异构环境
• 年，卷（期）: 2013,（6）
• 所属期刊栏目: 研究论文
• 页码范围: 739-745
• 页数: 7页
• 分类号: TP302.7
• 字数: 5862字
• 语种: 中文

摘要

集群中的节点由于其硬件配置不同导致其性能不同,使得集群环境成为异构环境.然而,在以Hadoop为代表的MapReduce实现中并没有充分考虑到环境的异构性,致使过多的Map任务需要从其他节点传输输入数据块,从而影响MapReduce在异构环境中的性能.提出了一种基于节点性能的数据块副本分布策略,使副本的分布与节点性能相适应,同时将可靠性、创建的传输开销及数据块间性能的平衡纳入考虑.结果表明:该策略在异构环境中能有效提升输入数据在本地的Map任务比例,并缩短MapReduce任务的完成时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	虞慧群	华东理工大学计算机科学与工程系	113	814	14.0	24.0
5	钱孟远	华东理工大学计算机科学与工程系	1	2	1.0	1.0