多层一致性哈希的HDFS副本放置策略

• 作者: 席屏 薛峰
• 来源期刊: 计算机系统应用
• 关键词: 一致性哈希 HDFS 副本放置 存储均衡 自适应性
• 年，卷（期）: 2015,（2）
• 所属期刊栏目: 软件技术?算法
• 页码范围: 127-133
• 页数: 7页
• 字数: 4384字
• 语种: 中文

摘要

分布式文件系统HDFS采用机架感知的副本放置策略在一定程度上保证了数据的可靠性，但系统运行一段时间后会出现数据分布不均衡的情况。虽然使用Balancer程序可以对数据进行重分布，但对数据存储不均衡处理的后置性影响了系统的数据读取速率和可靠性。采用多层一致性哈希的副本放置策略，首先通过一致性哈希算法获得数据副本对应的机架位置，再通过一致性哈希算法获得该机架下对应的数据节点位置并最终成为存储位置。一致性哈希算法在查找对应位置的过程中采用地址等分和虚拟节点的技术，提高了查找的效率和分布的均衡性。该策略在数据均衡存储、上传速率方面较原有策略都有很大的提高，并且具有数据自适应性的能力。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	席屏	江苏科技大学计算机科学与工程学院	3	23	2.0	3.0
2	薛峰	江苏科技大学计算机科学与工程学院	11	48	3.0	6.0