一种改进的ELK日志采集与分析系统

• 作者: 叶嘉祥 鲜征征
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: 日志采集 分布式架构 ELK 消息队列
• 年，卷（期）: 2019,（8）
• 所属期刊栏目: 软件设计与开发
• 页码范围: 105-110
• 页数: 6页
• 分类号: TP319
• 字数: 5341字
• 语种: 中文
• DOI: 10.11907/rjdk.191790

摘要

ELK架构是解决日志分布式采集与分析问题中具有代表性的解决方案.但原生ELK架构存在Log?stash对CPU资源占用较大、无法动态更新日志相关配置和日志数据传输过程中数据易丢失等问题.为满足现实中大型分布式服务的日志采集与分析需求,对原生ELK架构作如下改进:在收集过程中增加限速器以减少CPU占用率;增加分布式注册中心实现相关配置动态更新;增加消息队列使得消息传输过程更健全.实验结果表明,改进后的ELK日志采集及分析系统与原生ELK相比,CPU占用率减少了近60％,日志速度提高了3倍,且消息丢失率为零.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	鲜征征	广东金融学院互联网金融与信息工程学院	13	56	4.0	7.0
2	叶嘉祥	广东金融学院互联网金融与信息工程学院	1	2	1.0	1.0