对于大规模系统日志的日志模式提炼算法的优化

• 作者: 肖海力 赵一宁
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: 日志处理 MapReduce机制 大数据分析 网格环境
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 高性能计算
• 页码范围: 821-828
• 页数: 8页
• 分类号: TP393.027
• 字数: 8240字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2017.05.001

摘要

LARGE框架是部署在中国科学院超级计算环境中的日志分析系统,通过日志收集、集中分析、结果反馈等步骤对环境中的各种日志文件进行监控和分析.在对环境中系统日志的监控过程中,系统维护人员需要通过日志模式提炼算法将大量的过往系统日志记录缩减为少量的日志模式集合.然而随着日志规模的增长以及messages日志文件的特殊性,原有的日志模式提炼算法已经难以满足对大规模日志快速处理的需要.介绍了一种对于日志模式提炼算法的优化方法,通过引入MapReduce机制实现在存在多个日志输入文件的情况下对日志处理和模式提炼的流程进行加速.实验表明,当输入文件较多时,该优化方法能够显著提高词汇一致率算法的运行速度,大幅减少运行时间.此外,还对使用词汇转换函数时的算法运行时间和提炼效果进行了验证.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵一宁	中国科学院计算机网络信息中心	10	12	2.0	3.0
2	肖海力	中国科学院计算机网络信息中心	30	116	6.0	9.0