基于关联规则挖掘的分布式小文件存储方法

• 作者: 范贵生 郭卫斌 钱能武
• 来源期刊: 华东理工大学学报（自然科学版）
• 学科: 工学
• 关键词: HDFS 关联规则挖掘 小文件关联性 预取
• 年，卷（期）: 2016,（5）
• 所属期刊栏目: 研究论文
• 页码范围: 708-714
• 页数: 7页
• 分类号: TP316.4
• 字数: 5150字
• 语种: 中文
• DOI: 10.14135/j.cnki.1006-3080.2016.05.019

摘要

Hadoop分布式文件系统(HDFS)设计之初是针对大文件的处理,但无法高效地针对小文件进行存储,因此提出了一种基于关联规则挖掘的高效的小文件存储方法-ARMFS.ARMFS通过对Hadoop系统的审计日志进行关联规则挖掘,获得小文件间的关联性,通过文件合并算法将小文件合并存储至HDFS;在请求HDFS文件时,根据关联规则挖掘得到的高频访问表和预取机制表提出预取算法来进一步提高文件访问效率.实验结果表明,ARMFS方法明显提高了NameNode的内存使用效率,对于小文件的下载速度和访问效率的改善十分有效.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭卫斌	华东理工大学信息科学与工程学院	27	97	7.0	8.0
2	范贵生	华东理工大学信息科学与工程学院	47	341	10.0	17.0
3	钱能武	华东理工大学信息科学与工程学院	1	9	1.0	1.0