一种基于LRFU缓存替换策略的HDFS客户端本地缓存设计与实现

• 作者: 吴建华 廖卓凡 罗可 谢磊
• 来源期刊: 计算机应用与软件
• 学科: 工学
• 关键词: HDFS 主从架构 LRFU 客户端 缓存
• 年，卷（期）: 2018,（5）
• 所属期刊栏目: 软件技术与研究
• 页码范围: 15-20,94
• 页数: 7页
• 分类号: TP302.1
• 字数: 5163字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-386x.2018.05.003

摘要

Hadoop底层基础存储框架Hadoop分布式文件系统HDFS(Hadoop Distributed File System)是采用基于Master/Slave主从构架设计的分布式文件系统.NameNode负责管理所有文件的元数据和处理客户端对文件的访问.随着应用数据的不断增加,DataNode的不断加入,NameNode维护文件元数据、处理Hadoop应用的读取和删除等文件操作的工作量就会随之增加.NameNode的性能成为整个HDFS的瓶颈.提出一种思想,即将NameNo-de部分任务交与HDFS客户端完成,使每个HDFS客户端在某些功能上成为NameNode.用LRFU(Least Recently Used and Least Frequently Used)缓存替换策略提出一种在HDFS客户端建立本地缓存的解决方案,从而降低Nam-eNode负载.通过实验证明Hadoop应用可以从缓存中读取文件块信息,而不必请求NameNode,提高了数据访问效率,降低了NameNode负载.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	罗可	长沙理工大学计算机与通信工程学院	92	1085	16.0	28.0
2	吴建华	长沙理工大学计算机与通信工程学院	11	37	4.0	5.0
3	廖卓凡	长沙理工大学计算机与通信工程学院	7	12	2.0	3.0
4	谢磊	长沙理工大学计算机与通信工程学院	1	3	1.0	1.0