基于机器学习的日志解析系统设计与实现

• 作者: 郭渊博 钟雅
• 来源期刊: 计算机应用
• 学科: 工学
• 关键词: 日志解析 机器学习 聚类 异常检测 LogSig算法
• 年，卷（期）: 2018,（2）
• 所属期刊栏目: 网络空间安全
• 页码范围: 352-356
• 页数: 5页
• 分类号: TP309
• 字数: 7249字
• 语种: 中文
• DOI: 10.11772/j.issn.1001-9081.2017071786

摘要

针对现有日志分类方法只适用于格式化的日志,且性能依赖于日志结构的问题,基于机器学习方法对日志信息解析算法LogSig进行了扩展改进,并设计开发了一个集数据处理与结果分析于一体的日志解析系统,包括原始数据预处理、日志解析、聚类分析评价、聚类结果散点图显示等功能,在VAST 2011挑战赛的开源防火墙日志数据集上进行了测试.实验结果表明,改进后的算法在归类整理日志事件时的平均准确性达到85％以上;与原LogSig算法相比,日志解析精度提高了50％,同时解析时间仅为原先的25％,可用于大数据环境下高效准确地对多源非结构化日志数据进行解析.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	郭渊博	信息工程大学网络空间安全学院	41	99	4.0	9.0
3	钟雅	信息工程大学网络空间安全学院	2	10	1.0	2.0