基于大数据技术的网络日志分析系统研究

• 作者: 任凯 俞琰 邓武
• 来源期刊: 现代电子技术
• 关键词: 大数据 日志采集 MapReduce 日志分析 IP统计
• 年，卷（期）: 2016,（2）
• 所属期刊栏目: 计算机软/硬件与数据总线
• 页码范围: 39-41,44
• 页数: 4页
• 分类号: TN915-34
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2016.02.011

摘要

传统的日志分析技术在处理海量数据时存在计算瓶颈.针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法.实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	邓武	大连交通大学软件学院	39	340	10.0	17.0
2	任凯	南京大学金陵学院	22	140	7.0	11.0
3	俞琰	东南大学成贤学院	15	94	5.0	9.0