数字标准平台中海量时空小文件合并策略研究

• 作者: 熊炼 顾鑫
• 来源期刊: 计算机应用研究
• 关键词: 数字标准平台 HDFS 小文件 时空数据 序列模式挖掘
• 年，卷（期）: 2014,（11）
• 页码范围: 3340-3343
• 页数: 4页
• 分类号: TP333
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2014.11.032

摘要

针对HDFS处理时空小文件效率不高的问题，从用户的访问规律和访问数据自身属性这两者之间的相关性上出发，将用户访问流看成对数据文件的请求序列，然后根据数据的时空属性参数化表示，并利用特征提取构建一个新的特征序列，最后通过序列模式挖掘PrefixSpan算法找到用户在不同访问模式下的特征模板，合并相关文件。实验结果表明，该合并策略有效地降低了NameNode内存占用率和响应时间，提高了读取效率。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	顾鑫		6	13	3.0	3.0
2	熊炼	武汉大学测绘遥感信息工程国家重点实验室	4	39	3.0	4.0