基于Hadoop的流量日志分析

• 作者: 温秀梅 韩雨轩
• 来源期刊: 河北建筑工程学院学报
• 学科: 工学
• 关键词: Hadoop分布式文件系统 流量日志 数据分析
• 年，卷（期）: 2020,（2）
• 页码范围: 122-125
• 页数: 4页
• 分类号: TP3
• 字数: 2059字
• 语种: 中文
• DOI: 10.3969/j.issn.1008-4185.2020.02.027

摘要

以电信类公司日志文件为分析模板,结合大数据技术,对流量日志的数据进行分析,获取用户的行为特征,明确网站改进方向,为电信类公司本身的业务提出合理化建议,实现数据的最大价值化.整体架构以 Hadoop3.1 为基础,搭建分布式数据存储分析的大数据平台,结合Sqoop、MySQL、Flume等,实现日志数据分析的架构设计,数据结果最终通过 Sqoop 工具由 HDFS导入到MySQL数据库存储,并对结果进行分析,为完善系统提出改进方案.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	温秀梅		35	151	6.0	10.0
2	韩雨轩		1	0	0.0	0.0