基于SQL-on-Hadoop的网络日志分析

• 作者: 姜开达 王海洋 章思宇 罗萱 韦建文
• 来源期刊: 通信学报
• 学科: 工学
• 关键词: 日志分析 大数据 Hadoop SQL 网络安全
• 年，卷（期）: 2014,（z1）
• 所属期刊栏目: 网络空间安全
• 页码范围: 14-19
• 页数: 6页
• 分类号: TP393.08
• 字数: 4965字
• 语种: 中文
• DOI: 10.3969/j.issn.1000-436x.2014.z1.004

摘要

当今网络带宽、设备和应用数量急剧扩张，日志管理面临数据量爆炸式增长的挑战。基于SQL-on-Hadoop构建网络日志分析平台，实现千亿级日志存储和高效、灵活查询。利用真实TB 级数据集对多种 Hadoop 列存储格式及压缩算法进行性能测试，并对比Hive和Impala引擎日志扫描及统计查询效率，选用Gzip压缩的Parquet格式可将日志体积压缩80%，且将Impala查询性能提升至5倍。基于该平台已开发6种安全事件响应、攻击检测和预警应用并发挥良好效果。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姜开达	上海交通大学网络信息中心	43	116	6.0	8.0
2	章思宇	上海交通大学网络信息中心	15	67	4.0	7.0
3	罗萱	上海交通大学网络信息中心	19	87	6.0	8.0
4	王海洋	上海交通大学电子信息与电气工程学院	6	16	3.0	4.0
5	韦建文	上海交通大学网络信息中心	13	41	3.0	6.0