主题搜索引擎网络爬虫搜索策略的研究与实现

• 作者: 刘淑梅 夏亮 许南山
• 来源期刊: 计算机系统应用
• 学科: 工学
• 关键词: 网络爬虫 搜索引擎 主题相关 遗传 抓取
• 年，卷（期）: 2010,（3）
• 所属期刊栏目: 研究开发
• 页码范围: 49-52
• 页数: 4页
• 分类号: TP3
• 字数: 2618字
• 语种: 中文
• DOI: 10.3969/j.issn.1003-3254.2010.03.011

摘要

根据网络页面结构的特点,提出通过页面之间的主题传递来预测页面主题相关性的方法,解决了主题爬虫通道堵塞,抓取遗漏的问题.首先根据锚文本传递一个相关性信息值,如果锚文本给出的信息是相关,相关阈值就直接传递;如果是不相关,就乘以遗传基因比例之后传递.传递的过程中如果遇到相关的网页就恢复链接的相关性信息值到初始值.最后根据实验结果验证了算法的查全率与查准率,查全率有显著的提高.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	许南山	北京化工大学信息研究院	58	358	10.0	16.0
2	刘淑梅	北京化工大学信息研究院	11	65	4.0	8.0
3	夏亮	北京化工大学信息研究院	2	41	1.0	2.0