基于KNN的HDFS副本放置策略研究

• 作者: 史爱武 张煜
• 来源期刊: 现代计算机
• 关键词: HDFS 副本放置策略 KNN
• 年，卷（期）: 2021,（21）
• 所属期刊栏目: 研究与开发|Research and Development
• 页码范围: 99-103
• 页数: 5页
• 语种: 中文
• DOI: 10.3969/j.issn.1007-1423.2021.21.018

摘要

HDFS的默认副本放置策略较为简单,若随机选择的节点负载过重,会影响HDFS的文件写入速度.为改善这一问题,提出了一种基于KNN的副本放置策略模型KRPM(KNN Replica Placement Model).该策略中,数据节点会将自身的特征通过心跳发送给名称节点,通过训练好的KNN回归模型对节点的写入速度进行预测.若随机选择的节点预测值小于集群的平均值,则重新随机选择,直到选择到符合条件的数据节点.实验表明,新的策略能够提高HDFS的文件写入性能.