基于预测模型的HDFS集群负载均衡优化与研究

• 作者: 于磊春 刘响 胡杨 陈健美
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: HDFS集群 预测模型 文件属性 集群属性 阈值 负载均衡
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 应用技术与研究
• 页码范围: 149-156,201
• 页数: 9页
• 分类号: TP393
• 字数: 9254字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.05.027

摘要

针对HDFS集群默认负载均衡策略中判定阈值的设定具有主观性、滞后性以及衡量指标单一性等问题,通过分析HDFS集群架构搭建、HDFS集群处理对象以及集群本身动态实时变化等特点,结合研究一些负载均衡策略中阈值改进算法,提出一种基于预测模型估算文件属性并结合集群属性综合计算阈值的方法,并将该方法计算出的阈值代入相应的负载均衡策略中进行负载优化.通过实验结果分析表明,提出的基于预估模型估算文件属性具有很高的准确性,并且基于预估模型的负载均衡策略对于集群负载的调整具有高效性,同时能够进一步缩短集群的作业执行响应时间,提高集群作业效率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陈健美	江苏大学计算机科学与通信工程学院	47	426	11.0	18.0
2	刘响	江苏大学计算机科学与通信工程学院	2	4	2.0	2.0
3	于磊春	江苏大学计算机科学与通信工程学院	1	2	1.0	1.0
4	胡杨	江苏大学计算机科学与通信工程学院	10	18	2.0	4.0