基于异构Hadoop集群的负载均衡策略研究

• 作者: 冯亮亮 孙蒙 秦军
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: Hadoop集群 MapReduce 节点性能 任务调度 负载均衡
• 年，卷（期）: 2017,（6）
• 所属期刊栏目: 智能、算法、系统工程
• 页码范围: 110-113
• 页数: 4页
• 分类号: TP301.6
• 字数: 4069字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2017.06.023

摘要

异构Hadoop环境中,每个节点的处理能力各不相同,且集群中的节点会不断增加和删除,随着作业量的增大,负载倾斜会越来越明显.显然,负载均衡也成为影响Hadoop集群性能的重要因素之一.针对异构Hadoop环境中MapReduce任务调度,提出了一种新的负载均衡算法.该算法充分利用节点性能和当前的计算资源,根据集群负载平衡度量值进行任务分配,将任务分配给适合的节点,使集群负载逐渐趋于平衡,以提高集群节点利用率.由于Hadoop集群中各节点通过网络连接,以节省网络传输代价,因此在负载均衡调度时,根据数据分布特点,优先考虑数据的本地性,以缩短任务执行时间.仿真实验结果表明,所提出的负载均衡算法能明显改善系统性能,有效缩短MapReduce作业执行时间.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	秦军	南京邮电大学教育科学与技术学院	91	805	14.0	24.0
2	冯亮亮	南京邮电大学计算机学院	2	8	2.0	2.0
3	孙蒙	南京邮电大学计算机学院	2	8	2.0	2.0