Hadoop 异构集群中数据负载均衡的研究

• 作者: 孙振 孙静 张松 杜庆伟
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: Hadoop HDFS 数据负载均衡 异构集群
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 数据工程
• 页码范围: 31-34
• 页数: 4页
• 分类号: TP391
• 字数: 5173字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2016.05.009

摘要

Hadoop 平台下，数据的负载均衡对平台性能的发挥有着深远的影响。首先分析默认数据负载均衡的局限性，针对现有默认 HDFS（Hadoop Distributed File System）数据负载均衡算法只考虑存储空间利用率，而未考虑节点间异构性的问题，提出一种量化异构集群数据负载均衡的数学模型。该模型根据节点的存储空间及节点性能计算得到各个节点的理论空间利用率，并根据当前集群存储空间利用率动态调整节点最大负载。实验结果表明，提出的数据负载均衡策略能够让异构集群达到更合理的均衡状态，提高集群的效率，并有效减少作业的执行时间。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杜庆伟	南京航空航天大学计算机科学与技术学院	18	105	8.0	9.0
2	张松	南京航空航天大学计算机科学与技术学院	3	21	2.0	3.0