Hadoop实现点击流日志的数据清洗

• 作者: 赵鑫
• 来源期刊: 无线互联科技
• 关键词: HiveQL 数据库 MapReduce 粒度管理器
• 年，卷（期）: 2018,（9）
• 所属期刊栏目: 软件透视
• 页码范围: 51-53
• 页数: 3页
• 字数: 905字
• 语种: 中文

摘要

在Hadoop云计算的大数据应用中,点击日志数据的挖掘处理是一项重要工作,日志收集服务器每天上传大量的点击日志信息,这些点击日志信息是从事电子商务企业了解用户心理倾向的关键信息,日志分析和挖掘对于企业越来越重要,直接和企业的发展和效益密不可分.对于结构化的日志,Hadoop Hive的HQL即可实现日志的数据清洗,而对于非结构化的点击流日志,HQL就显得捉襟见肘,文章就使用MapReduce实现点击日志信息的数据清洗处理进行简述,同时列举了实例供大家参考.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	赵鑫	辽宁行政学院人事处	40	37	3.0	3.0