基于SQL-on-Hadoop查询引擎的日志挖掘及其应用

• 作者: 何明 刘郭洋 常盟盟 彭继克 顾程祥
• 来源期刊: 智能系统学报
• 学科: 工学
• 关键词: 大数据 日志分析 数据挖掘 Hadoop 查询引擎 数据采集 索引存储 证券行业
• 年，卷（期）: 2017,（5）
• 页码范围: 717-728
• 页数: 12页
• 分类号: TP391
• 字数: 6372字
• 语种: 中文
• DOI: 10.11992/tis.201706016

摘要

随着计算机和网络技术的迅猛发展以及数据获取手段的不断丰富,海量数据的实时处理需求日益增多,传统的日志分析技术在处理海量数据时存在计算瓶颈.大数据时代下,随着开放式处理平台的发展,能够处理大规模且多样化数据的大数据处理系统应运而生.为了让原有的业务能够充分利用Hadoop的优势,本文首先研究了基于大数据技术的网络日志分析方法,构建了网络日志分析平台以实现万亿级日志采集、解析、存储和高效、灵活的查询与计算.对比分析了Hive、Impala和Spark SQL这3种具有代表性的SQL-on-Hadoop查询系统实例,并展示了这类系统的性能特点.采用TPC-H测试基准对它们的决策支持能力进行测试及评估,通过对实验数据的分析和解释得到了若干有益的结论.实现了海量日志数据计算与分析在证券领域的几种典型应用,为进一步的研究工作奠定了基础.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	何明	北京工业大学信息学部	21	333	9.0	18.0
2	常盟盟	北京工业大学信息学部	4	33	4.0	4.0
3	刘郭洋	海通证券股份有限公司信息技术管理部	1	8	1.0	1.0
4	顾程祥	海通证券股份有限公司信息技术管理部	1	8	1.0	1.0
5	彭继克	海通证券股份有限公司信息技术管理部	1	8	1.0	1.0