基于Hive的海量搜索日志分析系统研究

• 作者: 江荣安 赵龙
• 来源期刊: 计算机应用研究
• 关键词: Hadoop MapReduce HQL语言 Web日志 搜索引擎 用户行为分析
• 年，卷（期）: 2013,（11）
• 所属期刊栏目: 系统应用开发
• 页码范围: 3343-3345
• 页数: 3页
• 分类号: TP391
• 语种: 中文
• DOI: 10.3969/j.issn.1001-3695.2013.11.035

摘要

针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题,提出了基于Hive的Web海量搜索日志分析机制.利用HQL语言以及Hadoop分布式文件系统(HDFS)和MapReduce编程模式对海量搜索日志进行分析处理,对用户搜索行为进行了分析研究.对用户搜索行为中的查询热点主题、用户点击数和URL排名、查询会话的分析结果对于搜索引擎的排序算法和系统优化都有一定的指导意义.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	江荣安	大连理工大学计算机学院	8	148	4.0	8.0
2	赵龙	大连理工大学计算机学院	1	41	1.0	1.0