基于Hadoop与Storm的日志实时处理系统研究

• 作者: 吕家恪 李洋
• 来源期刊: 西南师范大学学报（自然科学版）
• 学科: 工学
• 关键词: 日志 Hadoop Flume Storm HBase
• 年，卷（期）: 2017,（4）
• 所属期刊栏目: 应用研究
• 页码范围: 119-126
• 页数: 8页
• 分类号: TP399
• 字数: 4470字
• 语种: 中文
• DOI: 10.13718/j.cnki.xsxb.2017.04.019

摘要

日志数据记录着丰富的信息, 具有较高的实用价值, 但在当今大数据时代环境下, 数据量的陡增为日志数据的处理带来了挑战. 为了有效地解决海量日志数据处理面临的瓶颈问题, 本文整合Hadoop和Storm分布式框架, 构建一种融合了实时计算与离线计算的分布式日志实时处理系统. 系统架构由数据服务层、 业务逻辑层和Web展示层组成, 数据服务层使用Flume实时采集日志数据, 并分别采用Kafka与HBase完成实时日志流数据的缓冲和系统数据的持久化存储;业务逻辑层利用Storm对实时日志流数据进行实时分析, 并使用Hadoop的计算引擎MapReduce结合数据挖掘技术完成对海量历史日志数据的离线分析, 离线分析的结果为实时分析提供支持、 参考;Web展示层负责日志数据及其分析结果的展示. 实验结果表明, 系统能有效地解决日志数据的采集存储、 实时日志流数据的实时分析和历史日志数据的离线分析等问题, 并成功地融合了Hadoop与Storm各自的优势, 为日志数据的采集和分析系统的构建提供新的技术参考.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吕家恪	西南大学计算机与信息科学学院	26	347	13.0	18.0
3	李洋	西南大学计算机与信息科学学院	27	96	6.0	9.0