基于支持向量机的HDFS副本放置改进策略

• 作者: 罗军 陈仕强
• 来源期刊: 计算机工程
• 学科: 工学
• 关键词: 支持向量机 云存储 副本放置策略 分布式文件系统 负载均衡 机架感知
• 年，卷（期）: 2015,（11）
• 所属期刊栏目: 体系结构与软件技术
• 页码范围: 114-119
• 页数: 6页
• 分类号: TP301.6
• 字数: 5874字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-3428.2015.11.020

摘要

为实现超大规模数据的存储并提高容错性,Hadoop分布式文件系统(HDFS)采用一种机架感知的多副本放置策略.但在放置过程中没有综合考虑各节点服务器的差异性,导致集群出现负载失衡.由于放置时采用随机方式,造成节点之间的网络距离过长,使得传输数据会消耗大量时间.针对以上问题,提出一种基于SVM的副本放置策略.通过综合考虑节点负载情况、节点硬件性能、节点网络距离为副本找到最佳的放置节点.实验结果表明,与HDFS原有的副本放置策略相比,该策略能更有效地实现负载均衡.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗军	重庆大学计算机学院	91	712	13.0	21.0
2	陈仕强	重庆大学计算机学院	1	11	1.0	1.0