基于Hadoop平台的快速日志挖掘方法

• 作者: 张宏 徐建 昂鑫
• 来源期刊: 计算机与数字工程
• 学科: 工学
• 关键词: 日志聚类 模式发现 快速
• 年，卷（期）: 2020,（7）
• 所属期刊栏目: 信息处理与网络安全
• 页码范围: 1693-1699
• 页数: 7页
• 分类号: TP301.6
• 语种: 中文
• DOI: 10.3969/j.issn.1672-9722.2020.07.028

摘要

为了提高对大量异构日志聚类和模式发现的能力,以便给故障预测模型等应用提供有效的日志模式.通过研究日志数据的特性,论文提出了一种面向Hadoop平台的快速日志模式发现方法,该方法采用One-Pass思想,通过扫描一次日志数据,完成对所有日志的聚类,并按顺序合并簇中的日志生成该簇的日志模式.在四个不同规模的日志数据集上进行了验证,实验结果表明该方法在确保聚类和模式发现的准确率的前提下,其内存开销和运行时间大大降低.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	张宏		181	1427	17.0	29.0
2	徐建		62	241	8.0	12.0
3	昂鑫		1	0	0.0	0.0