基于Spark Streaming的海量日志实时处理系统的设计

• 作者: 陆世鹏
• 来源期刊: 电子产品可靠性与环境试验
• 关键词: 大数据 SparkStreaming 日志分析 分布式计算
• 年，卷（期）: 2017,（5）
• 所属期刊栏目: 计算机科学与技术
• 页码范围: 71-76
• 页数: 6页
• 分类号: TP311
• 语种: 中文
• DOI: 10.3969/j.issn.1672-5468.2017.05.014

摘要

在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	陆世鹏		2	11	1.0	2.0