基于Hadoop的网络日志挖掘方案的设计

• 作者: 吴云 许抗震
• 来源期刊: 现代电子技术
• 关键词: 网络日志 数据挖掘 数据清洗 Hadoop MySQL
• 年，卷（期）: 2017,（9）
• 所属期刊栏目: 自动化技术
• 页码范围: 115-120
• 页数: 6页
• 分类号: TN711-34|TP391.9
• 语种: 中文
• DOI: 10.16652/j.issn.1004-373x.2017.09.031

摘要

提出一种挖掘指数级别网络日志数据的解决思路,设计了一个高可靠的网络日志数据挖掘方案.针对现有的公开网络日志数据集,在数据预处理阶段实现了基于MapReduce的过滤算法,并且挖掘出支持企业决策的服务信息.对该方案搭建的平台进行优化操作,性能提升了3.26%,最后对方案的高可靠性、日志文件个数对平台I/O速度的影响、平台和单机在查询性能上的对比等方面做了实验.结果表明:该设计方案不仅可靠,而且随着日志文件个数的翻倍增加,读操作耗时平均增加52.58%,写操作耗时平均增加79.69%.随着日志量的增加,单机的查询耗时急剧增长,而平台的查询耗时趋于稳定.随着机器节点的增加,运算耗时以平均8.87%的速度减少.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	吴云	贵州大学计算机科学与技术学院	20	73	4.0	8.0
2	许抗震	贵州大学计算机科学与技术学院	2	6	2.0	2.0