基于ELK+Kafka的智慧运维大数据分析平台研究与实现

• 作者: 贺路路 阮晓龙
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: ELK Kafka 日志分析 大数据 流式数据
• 年，卷（期）: 2020,（6）
• 所属期刊栏目: 软件设计、开发与应用
• 页码范围: 150-154
• 页数: 5页
• 分类号: TP319
• 字数: 4127字
• 语种: 中文
• DOI: 10.11907/rjdk.192248

摘要

基于ELK在智慧运维大数据分析平台实现海量数据分析,对ELK的部署结构进行优化,并在日志采集和日志处理中间增加Kafka消息处理队列,减轻Logstash压力,增加集群高可用性.通过Logstash的Filter插件利用正则表达式实现日志数据拆分,将拆分后的字段在Elasticsearch中存储,最终利用Kibana对日志数据进行搜索、绘图和展示.使用基于ELK的智慧运维大数据平台解决了运维过程中日志采集、日志处理、日志可视化问题,同时在数据处理上实现了接近1s的延迟搜索.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	阮晓龙	河南中医药大学信息技术学院	46	77	5.0	6.0
2	贺路路		1	0	0.0	0.0