静态场景下HDFS副本放置的改进策略

• 作者: 鲍敬源 赵宁 汪洋
• 来源期刊: 软件导刊
• 关键词: 分布式文件系统 HDFS 副本放置策略 多目标优化 云存储
• 年，卷（期）: 2021,（6）
• 所属期刊栏目: 计算机软件与理论
• 页码范围: 96-101
• 页数: 6页
• 分类号: TP301
• 语种: 中文
• DOI: 10.11907/rjdk.202054

摘要

云存储系统中的副本放置策略关系到云存储的可用性和可靠性、数据负载均衡程度以及数据访问速度.在静态场景,也即数据分批次处理场景下,HDFS默认策略只对每个数据块的3个副本分别进行放置,而未综合考虑整批数据放置方案对集群负载、访问失效率、整体读写性能的影响.针对这一问题,改进基于二进制多目标灰狼优化算法的副本放置策略,以平均副本失效率、磁盘相对负载标准差及读取评价因子为目标函数,得出3个目标函数值都较低的副本放置策略.实验结果表明,采用改进策略后,集群的整体负载均衡度更高,并且在随机读取指定数量数据块的实验中,耗时也远小于默认策略.另外,改进策略未采用默认副本因子3,数据块最低有2个副本,因而减少了集群负担.