基于分布式Web应用的大数据日志分析方法研究

• 作者: 孙鲁淼
• 来源期刊: 电脑知识与技术
• 学科: 工学
• 关键词: Flume Hadoop Hive 数据分析
• 年，卷（期）: 2019,（3）
• 所属期刊栏目: 数据库与信息管理
• 页码范围: 16-19
• 页数: 4页
• 分类号: TP311
• 字数: 3420字
• 语种: 中文

摘要

该文首先研究并使用了Flume集群将Web应用集群所产生的日志进行汇总,使用Flume内部组员Source来关联Web应用所产生的原始日志文件,并通过设计Channel管道供其进行数据传输,使用Sink来绑定其输出目的地;其次,搭建Ha?doop集群并使用其内部组件HDFS来持久化Flume集群所汇总的日志数据,最后设计并搭建了基于Hive的数据仓库,依据Web应用所产生日志的数据格式,将HDFS中的原始日志数据灌入到原始数据表中,使用HiveQL对其进行分析.对网站的多维度PageView、访客的来源统计、用户关键路径转化进行了多维度且详细的数据分析.通过该文所设计并实现的数据分析实例,证明了大数据日志分析平台的可用性,解决了一般Web应用集群数据分析所难以克服的问题.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	孙鲁淼		2	3	1.0	1.0