一种基于Hive日志分析的大数据存储优化方法

• 作者: 李书芳 王正也
• 来源期刊: 软件
• 学科: 工学
• 关键词: 大数据 Hive 存储优化 列式存储
• 年，卷（期）: 2014,（11）
• 所属期刊栏目: 设计研究与应用
• 页码范围: 94-100
• 页数: 7页
• 分类号: TP301.6
• 字数: 5268字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-6970.2014.11.020

摘要

从2002年起，某金融机构积累了大量的银行卡支付日志数据。随着业务的不断增长，数据集高速增长，原生的 Hive 的查询性能已经不能令人满意。文章研究了大数据及存储的现状，提出了一种基于存储日志的分析的 Hive 存储格式优化方法，通过该优化方法从查询时间和存储空间利用率两方面使系统性能得到提升，提升了查询效率。论文对该金融机构原有 Hive 存储系统通过基于存储日志分析的 Hive 存储格式优化方法进行改进，通过实际数据，充分证明了该方法的可行性。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李书芳	北京邮电大学通信与信息工程学院	35	388	9.0	19.0
2	王正也	北京邮电大学通信与信息工程学院	1	36	1.0	1.0