基于Hadoop和HBase的Nutch网页排序算法研究

• 作者: 宋玉平 施化吉 施磊磊 束长波
• 来源期刊: 软件导刊
• 学科: 工学
• 关键词: Hadoop集群 MapReduce Nutch HBase
• 年，卷（期）: 2014,（10）
• 所属期刊栏目: 算法与语言
• 页码范围: 53-55
• 页数: 3页
• 分类号: TP312
• 字数: 3626字
• 语种: 中文
• DOI: 10.11907/rjdk.143475

摘要

针对Nutch网页排序算法和中文分词的不足以及单机运行的效率问题，在Nutch综合网页排序中添加用户点击率、网页发布时间以及主题内容相关度3个影响因子，同时添加JE中文分词器，最后利用基于 HDFS的 HBase技术使Nutch能够实时高效地索引和检索海量数据。通过对实验结果数据的分析发现，Nutch的爬取和索引效率提高了7．93％，用户检索效率与查询准确度分别提高了11．11％与19．51％。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	施化吉	江苏大学计算机科学与通信工程学院	83	692	15.0	21.0
2	施磊磊	江苏大学计算机科学与通信工程学院	10	31	4.0	5.0
3	束长波	江苏大学计算机科学与通信工程学院	7	19	3.0	4.0
4	宋玉平	江苏大学计算机科学与通信工程学院	6	18	3.0	4.0