HDFS中的一种数据放置策略

• 作者: 王永洲 茅苏
• 来源期刊: 计算机技术与发展
• 学科: 工学
• 关键词: HDFS 云存储 数据放置 吞吐量
• 年，卷（期）: 2013,（5）
• 页码范围: 90-92
• 分类号: TP31
• 字数: 2981字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-629X.2013.05.023

摘要

将HDFS应用于云存储备份系统已引起学术界和企业界的广泛关注,但是HDFS假设集群中的节点是同构的,且在数据块的放置时采用了随机的数据放置策略,而在实际的云存储系统中节点的同构性并不理想并且随系统的运行节点的存储性能动态变化,随机选取节点的数据放置策略也可能会导致集群中数据放置的不均衡性.为此,文中综合考察了影响节点存储性能的CPU、内存、系统结构、磁盘的读写速度等因素,提出了一种对节点存储性能进行度量的方法.在数据存储时综合考虑节点的存储性能和节点与客户端的网络距离两个因素进行数据节点的选择.实验结果表明,与系统默认策略相比提出的策略不仅可以改进数据放置的负载均衡而且可以提高异构集群的数据传输速率.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	茅苏	南京邮电大学计算机学院	4	42	4.0	4.0
2	王永洲	南京邮电大学计算机学院	1	23	1.0	1.0