基于ELK和Spark Streaming的日志分析系统设计与实现

• 作者: 李祥池
• 来源期刊: 电子科学技术
• 学科: 工学
• 关键词: ELK Spark Kafka 日志分析
• 年，卷（期）: 2015,（6）
• 所属期刊栏目: 信息物理系统
• 页码范围: 674-678
• 页数: 5页
• 分类号: TP393.1
• 字数: 2113字
• 语种: 中文
• DOI: 10.16453/j.issn.2095-8595.2015.06.013

摘要

在大数据时代,对数据平台各组件的运行状态实时监控与运行分析具有重要意义,实现该目的需要符合企业自身应用场景的日志处理解决方案.本文基于业界主流的开源日志解决方案ELK Stack,探讨该方案中各组件的主要功能和工作原理,以及其在解析数据库日志中的使用方法,并将该方案与分布式消息队列Kafka整合以保证数据可靠性,与Spark流数据处理框架Spark Streaming整合以实现实时告警.为数据平台的运维监控工作提供参考.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	李祥池	杭州华三通信技术有限公司北京研究所	1	38	1.0	1.0