基于分布式Web应用的大数据日志分析方法研究

• 作者: 孙鲁淼
• 来源期刊: 电脑知识与技术:学术交流
• 学科: 工学
• 关键词: FLUME HADOOP Hive 数据分析
• 年，卷（期）: dnzsyjsxsb_2019,（1X）
• 页码范围: 16-19
• 页数: 4页
• 分类号: TP311.13

摘要

该文首先研究并使用了Flume集群将Web应用集群所产生的日志进行汇总,使用Flume内部组员Source来关联Web应用所产生的原始日志文件,并通过设计Channel管道供其进行数据传输,使用Sink来绑定其输出目的地;其次,搭建Hadoop集群并使用其内部组件HDFS来持久化Flume集群所汇总的日志数据,最后设计并搭建了基于Hive的数据仓库,依据Web应用所产生日志的数据格式,将HDFS中的原始日志数据灌入到原始数据表中,使用HiveQL对其进行分析。对网站的多维度PageView、访客的来源统计、用户关键路径转化进行了多维度且详细的数据分析。通过该文所设计并实现的数据分析实例,证明了大数据日志分析平台的可用性,解决了一般Web应用集群数据分析所难以克服的问题。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙鲁淼		2	3	1.0	1.0