海量日志分析在浙江电力的应用与实践

• 作者: 戚伟强 沈志豪 耿继朴 蒋鸿城 陈可
• 来源期刊: 浙江电力
• 学科: 工学
• 关键词: 统一日志分析系统 海量日志 弹性搜索 日志采集
• 年，卷（期）: 2017,（12）
• 所属期刊栏目: 数据价值挖掘专刊
• 页码范围: 27-32
• 页数: 6页
• 分类号: TP311.13
• 字数: 3501字
• 语种: 中文
• DOI: 10.19585/j.zjdl.201712006

摘要

随着近几年国内信息化水平不断提高,国网浙江电力主机、网络等设备数量急剧上升,业务系统的访问和操作量也迅速增加,传统的日志审计系统在应对超大规模海量日志的存储和分析时能力明显不足.针对海量日志采集、处理的需求,结合国网浙江省电力公司的实际情况,提出了一种基于开源ElasticSearch(弹性搜索)和Logstash(日志采集)的统一日志分析系统,并整合强隔离装置、toprowMQ消息队列、Kafka消息队列、Spark Streaming流数据处理框架,保证数据的安全性、可靠性和实时性.最后,通过日志分析系统在国网浙江电力的应用情况,验证了该系统的功能.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	戚伟强		14	43	3.0	6.0
2	蒋鸿城		5	4	2.0	2.0
3	沈志豪		12	12	2.0	2.0
4	陈可		3	5	2.0	2.0
5	耿继朴		4	6	2.0	2.0