领域相关的Web网站抓取方法

• 作者: 周立柱 李刚 林玲 郭奇
• 来源期刊: 计算机科学
• 学科: 工学
• 关键词: Meta-Search 聚焦爬虫(Focused Crawler) 启发式搜索
• 年，卷（期）: 2007,（2）
• 所属期刊栏目: 计算机网络与信息技术
• 页码范围: 137-140,148
• 页数: 5页
• 分类号: TP3
• 字数: 5644字
• 语种: 中文
• DOI: 10.3969/j.issn.1002-137X.2007.02.034

摘要

本文提出了一种抓取领域相关的Web站点的方法,可以在较小的代价下准确地收集用户所关心领域内的网站.这种方法主要改进了传统的聚焦爬虫(Focused Crawler)技术,首先利用Meta-Search技术来改进传统Crawler的通过链接分析来抓取网页的方法,而后利用启发式搜索大大降低了搜索代价,通过引入一种评价领域相关性的打分方法,达到了较好的准确率.本文详细地描述了上述算法并通过详细的实验验证了算法的效率和效果.

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	周立柱	清华大学计算机科学与技术系	69	3313	19.0	57.0
2	李刚	清华大学计算机科学与技术系	53	509	13.0	21.0
3	郭奇	清华大学计算机科学与技术系	2	20	2.0	2.0
4	林玲	清华大学计算机科学与技术系	3	417	2.0	3.0