Hadoop负载均衡的诊断与处理

• 作者: 黄河清 林峰
• 来源期刊: 福建电脑
• 关键词: Hadoop 数据倾斜 负载均衡 MapReduce
• 年，卷（期）: 2021,（7）
• 所属期刊栏目: 论著|Research Articles
• 页码范围: 36-39
• 页数: 4页
• 分类号: TP319
• 语种: 中文
• DOI: 10.16707/j.cnki.fjpc.2021.07.008

摘要

Hadoop集群作为流行的分布式大数据处理系统框架,得到了广泛应用.但若不能较好地解决其负载均衡问题,将无法充分发挥其高可靠性、高效性和高扩展性等特点.鉴于此,本文针对Hadoop体系的两大核心HDFS和MapReduce以及常用的组件Hive与HBase,从产生数据倾斜的原理进行分析,提出了有效的解决方案,以保障集群的负载均衡和保证集群的高效性.