云环境下分布式文件系统负载均衡研究

• 作者: 吴瑶瑶 杨庚
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: 云环境 Hadoop分布式文件系统(HDFS) 负载均衡 动态阈值
• 年，卷（期）: 2019,（10）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 67-72,224
• 页数: 7页
• 分类号: TP399
• 字数: 3328字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1801-0303

摘要

Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)是一种适合在通用硬件上运行的低成本、高度容错性的分布式文件系统,能提供高吞吐量的数据访问,适合针对大规模数据集上的应用.然而,HDFS中还面临一些性能优化问题,如负载均衡不足.虽然Hadoop系统自带的负载均衡器可以实现均衡调整,但需要用户预先给出静态的阈值.为了解决阈值的固定性和主观性,通过对磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率等参数的分析评估优化,形成对阈值的计算表达式,并通过理论分析和仿真实验对阈值的计算和负载均衡进行验证.实验结果表明,相比较Hadoop静态的输入阈值的算法,该方法达到了更好的平衡效果,提高了计算资源的利用率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	杨庚	南京邮电大学计算机学院	210	2422	21.0	40.0
5	吴瑶瑶	南京邮电大学计算机学院	2	2	1.0	1.0