基于分布式平台的实时网络日志分析系统设计

• 作者: 何长鹏
• 来源期刊: 江苏科技信息
• 学科: 工学
• 关键词: 日志分析 网络日志 Hadoop 网络安全
• 年，卷（期）: 2020,（27）
• 所属期刊栏目: 应用技术
• 页码范围: 63-66
• 页数: 4页
• 分类号: TP393.08
• 语种: 中文

摘要

传统的网络日志分析系统面临数据来源的多样化、文件分级优化存储、处理效率低和系统时延较长等问题.文章设计了一种基于分布式平台Hadoop的实时网络日志分析系统原型.首先,利用Filebeat组件采集各节点日志文件,根据文件分级归档管理机制对数据过滤、修剪之后发送至Kafka;然后,Kafka根据不同主题把日志流进行分组,实现分级优化存储;最后,使用Kibana工具实现日志文件的高效搜索、可视化分析等操作.实验结果表明:采用模块化设计方案降低了系统的耦合性,文件分级优化存储可以缩短数据处理时延,Kafka服务集群可以提升日志系统高并发处理能力,满足日志实时分析性能要求.