海量样本数据集中小文件的存取优化研究

• 作者: 哈力旦·阿布都热依木 李希彤 马振
• 来源期刊: 计算机工程与应用
• 学科: 工学
• 关键词: Hadoop分布式文件系统(HDFS) 小文件 样本数据集 缓存预取 分布式数据库 HBase
• 年，卷（期）: 2018,（22）
• 所属期刊栏目: 大数据与云计算
• 页码范围: 80-84,98
• 页数: 6页
• 分类号: TP311
• 字数: 4085字
• 语种: 中文
• DOI: 10.3778/j.issn.1002-8331.1806-0350

摘要

针对Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)在海量样本数据集存储方面存在内存占用多、读取效率低的问题,以及分布式数据库HBase在存储文件名重复度和类似度高时产生访问热点的问题,结合样本数据集的特点、类型,提出一种面向样本数据集存取优化方案,优化样本数据集中小文件的写入、读取、添加、删除和替换策略.该方案根据硬件配置测得大、小文件的分界点,通过变尺度堆栈算法按样本数据集的目录结构将小文件合并存储至HDFS;结合行键优化策略将文件索引存储在HBase数据表中;搭建基于Ehcache缓存框架的预取机制.实验结果表明,该方案降低了主节点的内存消耗,提高了文件的读取效率,实现了对海量样本数据集中小文件的高效存取.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	哈力旦·阿布都热依木	新疆大学电气工程学院	22	68	6.0	7.0
2	马振	新疆大学电气工程学院	2	3	1.0	1.0
3	李希彤	新疆大学电气工程学院	1	3	1.0	1.0