基于Hadoop的搜索引擎用户行为分析

• 作者: 王振宇 郭力
• 来源期刊: 计算机工程与科学
• 学科: 工学
• 关键词: Hadoop 分布式计算 用户行为分析 海量数据
• 年，卷（期）: 2011,（4）
• 所属期刊栏目: 数据挖掘
• 页码范围: 115-120
• 分类号: TP391.3
• 字数: 3962字
• 语种: 中文
• DOI: 10.3969/j.issn.1007-130X.2011.04.022

摘要

搜索引擎用户行为分析是网络信息检索技术的研究热点.通过分析用户点击行为,利用Web数据挖掘技术获取有用信息,提高搜索引擎的检索算法和检索服务的效率,把用户从大量无序的搜索结果中解放出来.本文针对传统并行计算模型在易扩展和易编程方面遇到的瓶颈,给出一种基于Ha-doop的海量日志数据处理模型,通过基于Hadoop的分布式文件系统HDFS与MapReduce并行计算模型提高系统扩展性和易编程性,并应用该模型分析了Sogou搜索引擎一个月内约2 200万条查询日志,分析结果对于掌握用户搜索行为,评测及改进搜索引擎检索、排序算法等均有较好的指导意义.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王振宇	华南理工大学软件学院	23	354	8.0	18.0
2	郭力	华南理工大学计算机科学与工程学院	16	193	7.0	13.0