线上多节点日志流量异常检测系统的研究

• 作者: 王小宁 王晓东 肖海力 赵一宁 迟学斌
• 来源期刊: 计算机科学与探索
• 学科: 工学
• 关键词: 主成分分析(PCA) 日志流量模式 层次聚类 可视化
• 年，卷（期）: 2020,（11）
• 所属期刊栏目: 高性能计算
• 页码范围: 1828-1837
• 页数: 10页
• 分类号: TP316
• 语种: 中文
• DOI: 10.3778/j.issn.1673-9418.2002015

摘要

随着国家高性能计算环境各个节点产生日志数量不断增加,采用传统的人工方式进行异常日志分析已不能满足日常的分析需求.为了高效自动化地分析日志,提出了一个两阶段的检测方法.第一阶段首先在预处理时将日志模式进行分类,然后使用主成分分析方法进行异常检测,并将日志类型的有序排列定义为一种日志流量模式,通过该定义将异常检测中得到的异常流量模式提取出来,最后使用层次聚类算法简化流量模式的结果并保存.第二阶段通过第一阶段得到的检测模型和流量模式,可以实时监测分析日志流量信息并匹配对应流量模式.最终基于高性能计算环境中的真实日志进行实验分析,并实现了结果的可视化展示,从而大大减轻了运维人员的工作负担.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王晓东	中国科学院计算机网络信息中心	198	1467	19.0	28.0
2	迟学斌	中国科学院计算机网络信息中心	101	634	14.0	21.0
3	赵一宁	中国科学院计算机网络信息中心	10	12	2.0	3.0
4	肖海力	中国科学院计算机网络信息中心	30	116	6.0	9.0
5	王小宁	中国科学院计算机网络信息中心	25	55	5.0	6.0