面向云数据中心多语法日志通用异常检测机制

• 作者: 刘莹 孙永谦 孟伟彬 张圣林 张宇哲 张玉志 李东闻 裴丹
• 来源期刊: 计算机研究与发展
• 学科: 工学
• 关键词: 日志 异常检测 云数据中心 词嵌入 CNN LSTM
• 年，卷（期）: 2020,（4）
• 所属期刊栏目: 数据驱动网络专题
• 页码范围: 778-790
• 页数: 13页
• 分类号: TP391
• 字数: 8637字
• 语种: 中文
• DOI: 10.7544∕issn1000-1239.2020.20190875

摘要

得益于自然语言处理和机器学习方法的快速发展,基于日志对云数据中心软硬件系统进行自动异常检测变得越来越流行.无监督学习方法不需要标记异常日志,但通常存在准确性较低、仍需标注大量正常日志的问题.尽管有监督学习方法的准确性较高,但由于不同软硬件系统产生不同类型的、语法各异的日志,导致有监督学习方法需要为每一类型日志标注足够多的异常日志以训练相应的异常检测模型,这极大地增加了标注异常日志的人力成本.与此同时,不同类型日志在发生异常时往往具有相同或相似的语义.因此,提出了一种跨日志类型的通用异常检测机制——LogMerge.该机制通过学习多语法日志的语义相似性,可实现日志异常模式的跨日志类型迁移,从而大大减少了异常标注开销.LogMerge采用词嵌入方法先后构建单词和模板的向量,然后使用聚类方法将语义相同或相近的模板聚成一类,解决了不同类型日志语法不同带来的挑战.此外,LogMerge结合CNN与LSTM方法构建异常检测模型,既有效提取了日志序列的前后依赖性,又显著降低了日志序列中噪声带来的影响.使用公开日志数据集的实验表明,相比于当前的有监督学习方法和无监督学习方法,LogMerge取得了更高的准确性.实验还验证了LogMerge能够显著减少异常标注工作量——在目标类型日志异常标注较少时,依然能够取得较高的准确性.