基于Spark的网络日志分析平台研究与设计

• 作者: 唐浩 姚文勇 林宗缪 裴雨清 郭先超
• 来源期刊: 自动化与仪器仪表
• 学科: 工学
• 关键词: 大数据 Spark Flume 日志分析
• 年，卷（期）: 2017,（11）
• 所属期刊栏目: 自动化应用
• 页码范围: 157-159,162
• 页数: 4页
• 分类号: TP311
• 语种: 中文
• DOI: 10.14016/j.cnki.1001-9227.2017.11.157

摘要

从日志数据采集、存储、分析等层面研究分布式计算技术在网络日志分析中的应用.通过Flume采集海量网络日志,利用Spark并行计算及Spark Streaming流式计算技术搭建了网络日志分析平台.平台针对大数据在批量处理和实时计算时存在的问题提出优化的架构方式,解决了冲突问题.经实验表明,该平台能对大数据级别的网络日志进行实时与批量分析,而且具有高吞吐能力、高扩展性、高容错性的特点,符合设计目标.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	姚文勇		14	38	3.0	5.0
2	郭先超		12	34	3.0	4.0
3	林宗缪		13	32	3.0	4.0
4	裴雨清		5	4	1.0	1.0
5	唐浩		3	8	2.0	2.0